中介私吞个税如何追回？

2013年经上海派金地产介绍看中民春路399弄一套住宅，当时该公司一名业务员对我们称，我们所看房子是满五年且唯一，当时看完房以后我们就觉得还算满意就交了订金，2013年12月28日，我们与卖家已在房产交易中心完成过户手续，在过户的过程中，我们只交契税，并未有中介所说的个税，在交易完以后当晚，我们就向中介质问个税是怎么一回事，当初介绍房子的时候再三强调是满五唯一的，现在卖家已确认该房为满五唯一，为什么还要交个税？中介说，当时他们与卖方的女儿签过一个协议，协议的大致内容是：所出售房屋为满五年不唯一，个税部分由中介公司向买方代为收取，该协议上只有中介公司和卖方的签字，但现在中介以此为据，将收取我们的个税款不再退还给我们，还一再强调这个钱等卖方女儿回来再说。2013年12月29日，我们再次去房产交易中心的二楼税务部门再次查实，卖家该套房子确实只有契税，并没有中介所说的个税，我们再次打电话跟中介要求归还个税时，中介仍不予退回，并扬言我们可以去法院起诉，他们就是不想还这笔钱。现在不管卖家与中介签过何种协议应该都与我（即买方）无关，因为我起先完全不知道有这样的协议存在，并且也从来未在该协议上签过字。现在我们也已经证实我们所买房屋为满五年唯一，如果中介一定要以协议来据理力争，我想他们这样是无理的，谋种程度上有欺诈的行为。