买二手房时，意向金转化为定金了还要得回来吗

我看了一套房子，房型满意，楼层满意，然后被中介一耍手段说什么很多人要买，我就交了意向金1万，而且在居间协议书上签了字，他们说不签就没法跟房东谈，但是不让我签日期。给了个意向金的收据。 
当天回去因为有事情没怎么仔细想，第二天上网查询多处打听，发现房子卖贵了至少5万，就在我们还在查询过程当中，中介打电话来说房东已经签了字，什么时候来交剩下的4万定金。我说我考虑下。 
第三天我决定不买了，就去和他们交涉退钱的事，他们不肯退了。因为协议书上有一条意向金在卖方签字后就转化为定金，具有法律效应。然后还给我看了房东的定金收据。现在跟中介谈不好，我找房东，房东说我这房子是卖得贵了，但是钱他是不退的，除非我再找到个买家，也花这么多钱买下这个房子，钱就退给我。 
现在我不知道怎么办。找中介,中介说房东不肯给钱，我也没办法。给房东打电话，房东根本不肯退钱给我，他说最好一分不退。