房屋买卖

我是卖方，我名下的房产是唯一一套房子并且有银行贷款，但是因为我个人原因长时间没有及时还款，银行已经走司法程序查封了我名下的房产。
       最初银行要求每月还款2万可以暂不执行拍卖，但是每月2万的还款对我来说很有负担，所以我决定把房子卖了，也通过中介找到买家，告知买家房子有贷款，需要先支付首付款到银行解押，买方同意，支付了2万作为购房定金，买方跟中介达成协议中介费2万，并给中介写了欠条，中介留下了我的身份证复印件及房产证。买方是拆迁户在等拆迁款到账的过程中间通过跟银行沟通，银行同意可以每月还款1万，对我来说还款压力变小很多，所以我就不想卖房子了，也跟买方说明房子不卖了。
        接着就是谈到违约赔偿问题，合同规定中有一条：“若甲方（卖方）违约3日内将双倍定金及已付款返还买方（乙方），双倍定金中50%作为违约金，由买方跟中介各得50%。中介费（成交价的3%）有违约方承担并在违约之日起3日内一次全额付于丙方（中介）。”
        另一条规定：“经丙方提供居间服务促成甲乙双方成交，甲乙双方承认中介服务成功有效，应于签订《房屋买卖合同》当日将中介服务佣金按房屋成交价的3%一次性支付给丙方；若乙方逾期不付，丙方可按房屋成交价的3%向乙方全额追偿中介费，乙方同时承担因诉讼产生的一切费用。”
       我跟买方谈过是我违约不卖房子，我归还你的定金2万本金及1万违约金，买方同意了。在跟中介交涉的时候，因为我个人现在确实是没有多余的钱可以支付合同规定的违约方承担中介费（成交价的3%），跟中介交涉过支付1万，就是双倍定金中的50%，中介并不同意说违约成本太低，如果支付1万中介违约金，中介也不会同意我跟买方解决。我说我确实拿不出再多的钱了，中介的意思是要么支付按照他跟买方约定的2万中介费的违约金，如果不行他会按照合同约定的成交价的3%的违约金来起诉我。
      我想问一下，像我这种情况应该怎么处理？谢谢您。