中介合同存在问题，想停止合同中介费是否能退

我去年年底经过中介看上了一套房子，在合同签订时，中介给的合同上写的是我先付款一部分，而后房主过户给我，再付剩下的。先付的一部分以房屋价格减去公积金贷款额度为准。但是国家规定公积金必须过户后才能贷款，确定具体额度。所以我与卖家在这件事上纯在矛盾，迟迟不能交易。
    我想咨询下，面对这种情况，我如果以合同不合理为由终止交易，是否能拿回在签订合同的时候给中介的中介费用。