关于诚意金能不能退？

我本来打算买套二手房，中介给我介绍了个房子说是房主要65万，车位15万。因此二手房后面有过户问题，而且说明我们承担这笔奋勇，当时也就向中介询问过过户费多钱的问题，中介说一直说是1.2万和1万多（有证据证明他一直这样说的），所以这个因素就在后面的交谈中考虑的少了，我就提出房价让少1万块钱（因为感觉中介说的过户费不多，就感觉压1万就可以了），车位钱晚给一年这两个条件。中介说，让交2000元诚意金，签个协议，上面写到：房价谈到64万，车位晚一年付，如果谈成，我放弃购买，就不退2000元，如果他们谈不下来就退。签了这个协议后2天，中介说谈成了，房主委托他们进行交易，我还是担心过户费问题，专门到房管局咨询，过户费至少需要3万多，这时他才给我说实话，说过户费1.2是在找熟人办理情况下，可能是1.2万。这时我向中介又提出在房价中再少出1.5万（这个条件还在交谈中），因为过户费要3万呢。但是这几天通过我多方打听，这个房子价格中介给我抬高了几万，就是再达成让出1.5万条件，我交易了，我也是不划算，就不想买了。中介现在以我拒绝购买为由不退还诚意金，我应怎么办。