中介费该向谁追讨

我选中了一套房子，当天在中介交付了押金和半数的中介费，签订了买卖协议书。办里过户当天交了另一半的中介费和房产总价60%的首付款。当所有件认证、双方签字、采像照片完成后，我去交契税时，窗口说要卖方交总房款的5.5%税钱（应该是营业税），近4万元，卖方不恳交，想让我交，突然出现这么大笔费用我也是不能接受的。协议里也没说明有没有这个费用，如果有应该谁交。当天就没有交易成。后来卖方不想卖了，现在已经退给我已交款，中介费让我跟中介要，说是中介没有告知的责任导致不能交易。
   中介让我起诉卖方违约（协议中明确谁违约中介费谁出），说他可以作证，另个他还可提供卖方提前要回房证的证剧。这样我就起诉了卖方。但起诉的结果是法院认为那些证剧不能证明卖方违约。我现在想既然卖方不构成违约，那应由中介方退给我中介费，原来曾经答应退给我一半，即5000元。现在问他要这5000元他都不肯退，他说该赢的官司没赢，他没有责任，中介费他一点都不退，让我再去告他。