卖方违约，中介费能要回吗？

我于2010年9月初与卖家和中介方签署了购买合同，当时交给了卖方定金20000元，同时把中介费4000元交给了中介方（不是全部的中介费，全部的应该是8000多元）。但是到了9月底约定交余款和交钥匙的时候，卖方说他的房子房产证不在他那里，因为他之前因为借了别人的钱还没有还清，所以现在还不能拿回来。于是我们就一直催卖家把房产证拿回来，但是他一直都没有拿到，直到去年年底都没有拿到。于是我们只好追卖家，让他每个月还我们部分的钱。到2011年7月我们已经收回来了22000元。还有的18000元只能让他慢慢还给我们，因为我们曾经让他写了一张欠条，说好在今年内还清所有的钱共40000元。但是，由于卖家还有好多的债主，我们也没有把握能够把剩下的钱收回来。我们不知该如何办。另外，我想问我们能不能问中介取回我们交的中介费。如果要取回，该如何办？谢谢！