此条款合理吗？

各位大律师，大家好，我有点疑问，请各位给予指导，谢谢。
我（甲方）近期通过中介（丙方）出售一套房屋，并签订房地产《买卖居间协议》，下家（乙方）的情况是在上海的工作时间不长，无法提供税单之类的东西，（据说之前下家和中介之间已经联系购买其他房屋几次，全因为种种原因没有成交，说这的意思是他们很熟悉了）。
签《买卖居间协议》当天在协议上约定定金5万，由于时间太晚取款机只能取出2万，另外3万约定下家在7个工作日内补齐并暂放中介处（因为我去一趟很不方便）。任何一方如果不继续交易的话违约金为5万元。另外当天在补充条款里写上了这样一句话“若因乙方贷款原因而无法进行交易的，双方均无违约责任”。我当场提出疑问，并就这个问题谈判了三小时不止，中介信誓旦旦跟我保证，下家的贷款肯定没问题，催促我签订此协议，后来在他们的一再坚持下，我最终签了字（在这点上，我想我自己存在一些问题）；
今天我们三方在一起准备签订《上海市房地产买卖合同》，其他条款都已谈妥，唯独上面说的那一条我又提出疑问。我的顾虑是：如果下家自己不想买了，那他也可以以贷款审批通不过为由停止交易，按之前的那句话双方没有责任，我收的定金还给他。但是如果这期间房价下跌，给我造成的损失应该怎么办？（因为我要换大房子才卖掉这套小的，也很很着急），所以我只提出一个要求，如果下家贷款办不下来则是支付我违约金1万，我收的定金全部还给他。但下家以《买卖居间协议》已签定相关内容为由拒不答应。

请教各位律师：
1、在这个过程中，中介是否有不公平作为，我是否可以追究中介责任；
2、之前签字的《买卖居间协议》中规定的这条“若因乙方贷款原因而无法进行交易的，双方均无违约责任”是否属于不公平条款？因为这份协议对我是没有保障的（买家不买房了他没有责任，因为他可以为贷款下不来为由，而我不卖他房子却要支付违约金5万，我找不到理由不卖房子），这条在法律方面有无效力，可否取消？
3、如果第2点所说谈不好，我是否可以单方面终止合同，我是否需要支付违约金？
4、到目前为止，我只收到定金2万，没有收到的3万是否可以视为下家违约？