中介威胁

你好，情况是这样的，最近我们打算买房子，在网上找了很多中介，然后去看房子了，有他一个中介带我们去看了套房子在殷高路，面积40多点，他报价88万，看好后，我老公告诉他，这是目前看的房子比较好的一套，然后我们觉得价格有点贵，但是这套是我们首要考虑的，然后在告诉中介的那个菁英叫胡磊的人，叫他在帮我们找几套价位在80万左右的，价格便宜一点的房子，找好了，我们在去看。
第三天我休息，我又在网上找了，然后我在网上和几家中介交谈了，又看到胡磊了，他说之前带我们看的殷高路性价比高，我说我觉得周边的生活设施不怎么样，还有在地铁边上也不知道吵不吵之类的，他说叫我去看一下，我说我要觉得买了就去看。同时有一家中介说有一套精装修的87万，35多点的房子，房东只有晚上下班有空叫我去看，我答应了，然后我心想早点去吧，在看看其他中介有没有好的房子，美同的一家在网上我叫他帮我找，本来是约的后天去的正好这里也是那附近我就和他改时间约在当天下午去了。我和我朋友去的，美同的人在地铁口等我们，然后说先去看对面一套，我就问他了，我说是不是7楼的，面积40多，他们说是的，我说我看过，在考虑中，就不去看了，然后中介说在看看没事的，我想我朋友没有看过，就叫我朋友去帮我看看，然后在路上聊天的时候美同的问我菁英的报价多少，我没有回，反问他们报价多少，他们说85万，我说报价和你们一样的。然后我说价格有点贵，然后说全部加起来85万我还考虑一下。后面和这家中介又不看了另外的房子，在看后面的房子时，美同开电瓶车的不小心把我朋友给摔了，走之前他们说你考虑着房子的话，他们好和房东谈，然后问我心理价位，我说你先谈，谈到最低给我电话。回家没有多久他们说我们走后就去和房东谈了，房东少一万，我没有说什么，第二天的时候美同的又说去找房东谈了，房东的低价就是83万了，然后说谈不下了，说在要谈，就面对面谈。我说我知道了。周六我们去了，叫美同的带我们去看了周边的环境和生活设施，还能接受，就在中介谈了，后面谈下了83万，让房东自己付他们上家的中介费，我们接受了，然后签好约，首付给房东了，现在准备资料申请贷款的事了。
但是我老公刚刚打电话给我说，菁英的胡磊知道是我们买的这套房子，打电话威胁我老公说是他先带我们去看的，为什么没有在他哪里买，让他没有中介费拿，叫我们给他中介费，他说他是外地的，现在很不爽，不给他中介费，有什么事情，意思也找不到他。（在他带我们看过以后，他打电话说带我们看的另一套卖掉了，意思叫我们抓紧。没有一次说去找房东谈价格的，我们之前也说过贵。就一直说着套好，性价比高）
如果我现在想违约的话，首付能全退给我们吗？因为菁英是在房东哪里知道是我们买的，然后来威胁我们，万一我们搬进去以后有什么事情，最主要有小孩，那也是上家没有做好。
还有就是中介费能退吗？或者由房东支付？
麻烦你帮我解答一下，我现在怎么做比较好。