国家限购买房政策后，我不能买了，中介费、定金能退吗

本人名下有两套房，两次贷款记录，我想卖掉一套小面积的房子，换一套大面积的房屋，便于家人住。然后清理了这套小面积的房子贷款，2017年3月23日在中介公司签订买卖协议，卖给了一名外地人，同时我又看好了一套大面积的房子，也签好买卖协议，并先后交付房东定金5万元和预付房款50万元。
可4月1号限购后，外地人买不了我的房子，我们就友好的解除了合同。现在我本人名下还是两套房，因限购也不能够买房，可房东定金和房款55万元不退，劝我们再继续卖一套，并说因为我们耽误了他卖房时间，造成他资金周转困难，算我们违约，而对于我们由原来的首付40%变成60%，已不能力购房，并且离网签时间很紧，就算我卖掉了手里的一套房子，时间上来说我也很难在预定网签时间上完成。如果他算我违约的话，我更是赔了夫人又折兵，我该怎么办？