双方签订买卖合同后，协商取消了合同，中介费提前支付，中介不肯偿还。

我是买房，与卖方已签订了买卖合同。中介制定了一个阴阳合同，和卖方说是到手价，和我们说是税费各付，买卖合同上钩了税费各付，补充协议上写明了到手价。结果房子要交差额营业税，我们也要多支付契税。卖家经和我们友好协商，取消了买卖合同，并退回了我们的首付。可中介，在签订买卖合同后，提前收取了我们一半的中介费，我们认为交易未完成，不能收取，问其索要，被其拒绝，坚称居间合同达成后，就可收取。想问下，是否正确，如果我们想通过法律途径要回，一般流程需要多久，我们是否能胜诉，现在我们手上还有中介的收据，上面写着是未交易成功的房源的收据。