我这种情况可以拒付中介费吗？

今年5月份买了一套二手房，当时说的是中介费2%全部有我承担，签订合同后付了15000，但是贷款过程中由于上家是委托交易，一定要把款打到委托人身上，因此，贷款合同被上家委托人取消，这个过程中中介也未和我联系就擅自取消了我的贷款（中介和上家关系很好，怕我不同意就直接取消了），导致后面拖了三个多月才把贷款弄下来，后面85折的利率优惠有没有，损失很大，而且费劲周折贷款才批下来，下周去过户，我可以因此拒绝付剩余的中介费吗？