买二手房，中介公司的不作为，应该怎么办？

2015年11月份，我通过中介公司，在东莞松山湖看中了一套二手房，成交价是158万，在之后的一周时间里我先后交付了定金和首付47万元，另交中介费全额的3.5万元。后来在申请贷款时，中介公司说卖方是银行黑名单，我们当时既定的由担保公司担保赎楼，由我出资2万余元担保费的方案行通了，需要由我自己想办法为卖方还清银行的54万元房贷进行赎楼，或是由他们中介方请私人担保赎楼，但是担保费是5万多元，这样就比我们在购买时协议的请正规担保公司的保费多出3万元，这样的情况，我无论是从心理上，还是从经济能力上，都无法接受中介公司这样的方案，但是中介的态度是除此之外，无能为力，让我们自己想办法。我对中介公司这样的做法表示不能接受，要求中介，如果无能力进行交易，那就应该退回已次的中介费3.5万元，但中介拒不退款，也不作为，通常采取拖延，或是回避的态度。遇到这样的问题，我应该怎么办？请帮忙解答，谢谢！