房屋纠纷

房子2008年卖出，买家摆了宴席。住了半年就搬回了老家。
由于是亲戚关系当初卖房时双方并没有签正规手续。买房时双方谈的一共3万，买家只给了2.6万，后来又借了1千回去。至今后面的还没补上。
买家搬进去之前身体就有病，听别人造谣病和房子有关所以就想退房不买了。
这么多年房子没人照管房屋已有损坏。
现在买方提出诉讼，要求偿还卖房时所付的钱2.5万。

卖方确定买方是买了的，不可能退钱。因为造谣房子无法住人，现在也无法转手出卖。买家多次到卖家家里无理取闹。卖家坚决不同意退款

请问律师们 卖家不退款，是否说的过去，如果打官司能赢嘛。