前几天通过一中介公司购买一套总价55万的二手房，当时是晚上看房 

前几天通过一中介公司购买一套总价55万的二手房，当时是晚上看房 ，看了一下户型布局觉得还满意，就决定想购买，这时中介说要交5000元意向金这样他们才会去和户主谈价格，我说这钱交了可以退吗 ，他说可以。于是我就把钱交了且签了一份房屋买卖居间（当时根本不知道这是合同所以也没怎么看）。可是后来我了解了一下，感觉自己出的价格有点高了且小区的环境也不是很满意，所以不怎么想买了。这时我给中介电话表达意愿要求降价要么退回意向金。这时对方说这个钱是不退的，降价也只能降一点。听他这么一说我现在是完完全全的不想买那房子了。请问我现在如何才能退回意向金。