多出来的二套房购房税谁出

十几年前，我家把位于铁路附近的平房卖了。买家为了节省过户费，一直没有办理过户。几年前，这套房子已经拆了，并回迁了一套房。去年，我家买了一套房，准备办理拿房手续。但是办理手续时，人家说我家这房属于二套房，要多交两万多元税钱。之后我们找到当年买我房子的人，让他和我办理过户手续，但是到房产局办理过户时，人家说这房子早已拆除，办不了过户手续。所以我想咨询下，多交的两万多的税钱，能不能让那买家出。 补充：现在回迁的那套房房产证没有下来，并且，买家说，回迁房的房产证有两个名字，一是买家名，二是我的名字。因为我着急想要拿房，又不想多出两万多元税钱，所以希望律师帮忙看看怎样减少我的损失。