我这样做可以吗？

我参加单位集资建房，在建造过程中我的房子发生了重大质量事故，在2002年竣工交房时，由于开发商耍赖要全部拿到工程质保金才肯交房，由于我房屋曾经发生质量问题，我丈夫坚决不给我在同意书上签名，单位领导多次逼我签名，为了不被炒鱿鱼，我背着丈夫偷偷跑到中介，由于急于出手，出的价格很低，房屋几天就卖出去了，买方付了房款，扣下一些等房产证过户再付完。
     2004年末，房产证做好了，是我的名字，买方也装修好搬进去住了，他找我和委托单位领导要求办理房产过户，我如实讲老公是不同意卖房屋的，买方也不再要我办理房产过户手续了。
事隔多年，房价越来越高，现在买方要求我过户，并要到法院起诉我的。
请问我现在不把房屋卖给他可以吗？我的理由有两个：1、房产证做好多年，他明知我丈夫不同意我卖房的，也不急于过户，是因为他知道我房屋曾经发生塌梁、塌天花板的重大质量事故。是有意住久些看看有没有质量问题，再办理过户的，如有质量问题，就按合同退房。2、拖着时间长了，也就成事实房主了。
现在有以下问题要请教：
1、他起诉我要我履行合同，我可以按合同书上的违约责任来履行吗？合同上的违约责任是这样的：我方中途不卖，作违约处理，应在悔约之日将所收购房款全部退还给对方，另赔偿人民币20000元违约金给买方，有关土地使用权证重新更名的费用由我方自行负责，若买方已装修，我方须赔偿装修费给买方。我现在可以只赔偿他20000元和装修费吗?
2、如我败诉，会承担什么后果？是要赔偿20000元违约金，还有诉讼费是吗？