二手房卖房人将个人所得税算到买方，当时糊里糊涂签了中介的购房合同

最初在二手房网站上看到一处房子标价105万，去实地看房后觉得不错，中介就约了房主，过程中讨价还价没有余地，最后就只能是105万，当时对方和中介确实有说是卖家要净得105万，于是就签了中介的合同，还附带了条款，乙方支付购房过程中的一切过户费用及中介费。我也签字了，因为我是首套房，刚需族，也没做过这样的交易，完全不懂，昨天我网站查询了下，发现个人所得税应该是卖方缴纳，我给中介电话，中介说当时说好了的，签了合同的，就挂了我电话，请问这个事情我该怎么做？个人所得税我是不想交，有1万多块呢，但是不买房 我的2万定金有拿不到，请问从法律角度出发，我应该如何操作？谢谢