收回未付清款项房子（续，详细，因为前面有所误解）

事情大概是这样的：06年9月签订合同卖房给刘某，当时刘某未付清全部款项，合同中规定半年内付清剩余款项，但刘某在半年内并没有付给剩余款项，我去催刘某给清剩余款项，刘某借口不给，后来，我也就不愿意把房子卖给他了，之后就是一直这样僵持着。直到在09年11月，刘某才把剩余的钱拿来，此时我已经不再想把房子卖给他，当然就没有收他的钱，而打算把他之前付的款项归还给他，收回房子，他不愿意。当时签订的合同是全部款项付清后，刘某取得房室的全部产权，双方有违约现象交付两万元违约金。现在，我不愿意再卖给他这个房子，他也违约在先。请问，在他违约的两年内我都没去法院解除合同，现在是否还可以解除买房合同，不卖这个房子，把前面他初次给的房子款项还给他就行了？还是房子还是必须卖给他，他支付违约金就行了，或连违约金都不需要支付了？谢谢！
这个房子是我家的私人地基盖得楼房，卖这个房子也只是双方的一纸合同协议，双方协商买卖的，他钱没付清也没办过房产过户等的手续，合同也没有经过律师和法院进行公证。
我叫李薛清。家里电话是0719-5662354。