房屋抵押贷款合同纠纷

我今年六月份与某中介公司签订协议,全权委托他们帮我办理房屋抵押贷款手续,预定事成后,我支付他们一万元手续费,如贷款过程中,我不配合他们,造成贷款无法进行，视同完成贷款；如我单方面终止贷款，除需支付已产生的费用外，还需按贷款总额的2%支付违约金。在银行放款之前，应银行的要求，我到公证处办理与银行的合同公证，此时细看合同发现，他们将收款人的账户由我指定的账户变更为中介公司某员工的个人账户了，我当即提出了质疑，此时他们仍然骗我说款是打在我的账户上的，我以他们欺骗为由终止了这次贷款。之后与他们协商并达成，由于是他们的过错造成这次贷款终止，但考虑到他们的确发生了一些费用，待房屋抵押解除后，我付给他们部分费用共四千元；没想到的是，当他们拿到银行寄给他们的解除抵押的手续后便威胁我，必须付给他们一万元，否则他们不给我办理解除，我的房子就只能一辈子押在那里。无奈之下我找银行，希望他们与我解除抵押，但银行说我与中介公司签订了协议，他们将手续给中介公司是合法的，我只能找中介公司。请问我是否应该支付这笔费用？银行的做法是否合法？我是否可以通过法院解除抵押？谢谢！