房屋中介收取的  意向金是否可以退回？

本人经中介介绍看中一套房子打算洽谈租金等条件，中介说如果我有诚意租这套房子就先交点诚意金然后才帮我跟业主谈条件。而且我要求签合同时必须是业主跟我签而不是委托代签。我交付诚意金后中介并没有完全帮我把部分条件谈下来，之后中介说帮我约业主过来我跟业主对面谈，但第一次中介约好时间见面前一小时才通知业主无法赴约，耽误我的工作时间，当天我就要求不租了提出退还诚意金，但遭到中介决绝并态度恶劣。中介的原由是说他已经跟业主约好了第二天再见面，我为了表示我的诚意也答复了并说明这是最后条件，如果签不下来就退款。中介也答应。当天下午我准时赴约结果等了整整一个小时还没见到业主（前提是我上午就跟中介讲好我下午要赶回公司开会，要求他跟业主讲好要准时到）而且在等待的过程当中才知道当天所谓的过来跟我面谈并签合同的“业主”并不是房产的产权人，说是业主的家人（没有业主的委托授权书等文件证明），而且中介一直没告诉我房子没有房产证并抵押给了银行。在种种条件下我无法再等待，而且不只一次耽误我的工作了，像这种情况我该如何追回我的诚意金呢？