二手房买卖过程中，中介拖着不办手续也不联系，怎么办

本人有一套自住房，三个月前中介带买方跟我签订买卖合同卖出，签订合同之后本人又从别处买入一套新房，卖出房子时，中介明确地告诉我所有的费用是由买方支付，交易成交价是我拿到手的价格，且这一点合同上也有注明清楚，且其间中介从来没有跟我提及过说手续办完之前我不能购买下一套房产，我也根本不清楚这中间关系到交个税的问题，且在签订合同的时候中介还有问我之前还贷还了多少利息，说是可以抵一部份个税，而相关的中介费及买方要支付的相关费用，是他们在签订合同之后中介单独算给买方的，我并没有参与。现过户手续已办了一部份，首期房款也已付，在交税的时候，税务局查出我在另一处购买的房产，说因为不是唯一一套房产，个税是不可以免除的，中介以这个为由要求我支付一半的个税，被我拒绝，然后中介就一直没有再联系我也没有去办余下的手续，我的房产证跟相关的发票原件全部押在中介手上，我该如何处理？