我弟弟买房子，当时是朋友张某介绍的他朋友的房子，2017年1

我弟弟买房子，当时是朋友张某介绍的他朋友的房子，2017年12月21日晚上我们和朋友张某一路去他卖方朋友王某家里我给了卖方两万块钱定金（当时也是明说的钱是我垫付的因为我弟弟没钱），卖方王某打了收条（现百草园九栋3单元502楼单价45万卖给乙方，今收定金两万元，其他事由合同来定。甲乙双方签字时间是17年12月21日）说的是先回去筹钱，要不要房子都给卖方回话没有签订任何合同和协议，由于都是朋友关系当时都是口头约定先由我帮忙给弟弟垫付两万块钱定金，弟弟们第二天回去老家借钱凑首付款，如果凑不够或者是其他原因就回话卖方王某，卖方当时口头承诺回去考虑好不要了可以随时去退钱，也没有约定有违约金之类的话，弟弟们凑不够二十几万的首付款我18年1月3号打电话给卖方王某回话不要房子了，后来几次电话协商退回两万块钱的事，卖方王某满口答应叫去他那里协商，现在两个多月过去了再去找他，卖方王某突然改口要收取我两千块钱违约金只退我一万八！卖方王某的理由是他两套房子另外一套房子正在装修，因为弟弟要买他现在居住的房子所以他另一套赶工期多投进去几万块钱了，我们不要他现在的房子就要我们承担两千块钱的损失，（我们买他房子之前他已经在装修了，我不要他房子12天左右就打电话给他回话了）他说我们的原因导致他装修费用高的损失的！请问我帮忙给弟弟垫付的钱卖方应该全额两万块钱定金退我吗？卖方不退钱我该怎么办？觉得打官司实在是劳民伤财，多次协商解决不了的情况下其他有什么更好的办法？谢谢各位