买房子，款付一半，只打了收款条，没有签合同，发现土地使用证上的面积与买房成交的面积严重不符

经过亲戚关系，买一处院落，当时亲戚直接价钱讲到2800平米共125万成交。因为是认识人有人情在，没有看房照和土地使用证时付款45万（其中5万为定金）。卖家打收款条内容如下：‘今收到购房款四十万元整，署名，年月日’。当卖家收到45万后，房照和土地证拿给买家复印，买家才发现土地加房屋的有证面积为九百平，其它面积均为非法占用。此时立即与卖家联系，对方称并不知道合法面积与实际面积不符一事，并许诺没有证的面积努力去办理证件，此事搁置一个多月，卖家没有消息。买家再次与其联络，对方已矢口否认当初买房成交是以2800平成交。如今当初帮忙联系买房的亲戚拒绝出面与对方对峙。
现在寻求法律帮助，如何才能要回已付的购房款，放弃交易，认可损失5万元定金。
卖方的社会背景很强大，买方不想撕破脸皮。尽量不想起诉，但如起诉，对方称没有钱还也没有办法。