关于卖房子时的押金不返还

我们家于2011年9月份卖掉一处房产，当时说好买房现金支付和卖方户口迁出，但是我家再买的是经济适用房，一直没有下来，户口就一直没转出来。所以在2012年1月份签订了房屋买卖交接书，承诺因户口未迁出，押金一万，户口迁出返还押金。之后到2014年4月份双方都没联系。所有手续均在中介办理。
2014年4月终于经济适用房下来了，我们把户口迁出来了，希望他返还押金。一开始是说房价回落，这个钱他不想给，定在2014年末再说。
结果我们家就老老实实等到2014年12月份再联系他。理由变成，当时户口没及时迁出，给他造成重大损失（不知道什么损失），这个钱不想给。
等2015年阴历年末再说。在2015年1月末再联系。理由变成，房子的名字不是他的，他只是帮助他表弟买房（房证是其“表弟”名字，但所有手续时他签订的），和他没有关系，他不管这个事，于是我们提出要与他表弟联系，他拒绝提供联系方式。
因为他一直在说他是明事理之人，所以每次打电话都是在讲道理，反反复复，不提何时还款之事，真是觉得无法沟通了。
这个时候有什么办法吗？