二手房买卖纠纷

2009年9月我通过中介卖了一简装的新单元房，总价20万元，买方已经分三次付了18万元，合同约定余2万办过户时付。因我所购的是单位房该房（私产），因此房本一直未发。现在刚领了房本，我不想卖了，这是我的唯一房产，我们3口人一直和老人住62平米婆婆分的单位房（至今没办房产证），（当初因为老人年龄大，新房6楼有点高，不愿意搬，中介从中忽悠，就想卖了重新买楼层低点的。我们不了解行情，合同一签就发现少卖了3万多元，比新房少30平米的房子都买不到。所以至今无购房。）早就想收回房子，害怕单位知道扣发房本，一直没敢提。09年9月房已交买方居住至今。
   当时三方合同约定，如果卖方违约，将赔偿贰万元整，并承担中介费4000元。我能要回房吗？我该如何做?还需那些费用和赔偿？
   目前房产已经超过32万元。如果买方坚持过户，怎办？