购房协议纠纷

本人于2013/12/8，同上海住商不动产的中介签定了一份房屋买卖居间协议。由于房东是台湾人，不在上海居住，中介说房东委托他办理卖房的事宜。于是他代替房东在居间协议的甲方签字。由于我在异地有过贷款记录，申请首套房贷款有一定的风险，中介同意负责帮我办理首套房贷款，并且收取一定的费用。中介说他可以全权代理房东卖房子，所有的问题由他去跟房东协商，于是我支付给中介5万元的意向金，用于洽谈。
   最后房东同意2014/1/2号到上海签正式买卖合同，结果三方第一次当面沟通以后，房东完全不知道我的贷款存在风险，不愿意因为贷款问题解除合同，要求如果贷款办不下来没收全部的首付款。还要求先付首付款以后再签合同。我觉得条件太苛刻，房东也坚持不让步。房东返回台湾。
  至今中介都不愿意告知房东的联系方式给我们，房东没有跟我们签署任何的法律文件，也没有跟中介办理任何的委托公正。我们是否有权利问中介要回5万元的意向金。现在中介执意不退还，我应该怎么应对？