房产买卖权

2009由于公共性建设  政府把我家给拆了 再补给我们家一块地皮 政府要求是必须盖4层的楼房 二是不得转卖第二方 三是2010年必须改好。
   10年春 我们就开始建房子 可是家境不怎么好 盖房屋材料又迅速增长，使得我们家经济很困难  那时我爸的一个朋友知道这样的情况就找人来低价买我们的房子，我们也知道不能卖 也不情愿卖 ，没办法， 于是一百二十个平方的房子12万就这样我爸和我爷爷还有当事人口头说了下  找了个本子写上“今收到乙方7万元整《来买房的人》，余款5万等开始盖到第三层再全部付清”各自签了字 。
 就这样9月份就盖第三层了 我们没钱支付工人的工资，可是乙方却一直未出现，我们打电话他的亲人找他  都说找不到他人 ，我们很恼火 又为工人的钱而着急，房子不盖是不行的， 逼得我们做了我们不想做的事 ，我们家境本来就不怎么样，借钱难，还钱容易，还人情难，我们还是到处借钱，甚至带上利息，那时父母白天忙的东跑西跑的借钱，晚上失眠不知道失眠时候能把钱还别人。乙方一直未出现 。。。。直到房屋四层全部盖好，已经是10中旬月了
   2011年的1月初 ，乙方突然出现到我家说要去看房子，说看了房子晚上就吧余款付清，这样的情况，我们是绝对不给他看房子的，他说他出去外面投资，所以没回来。这种理由都说的出来，我们是气愤极了，有次晚上还带着他的舅舅《他舅舅是土管局的》来我家要房子，我爷爷 爸爸还有我被他们这行为感到不满，不答应给他房子，我们说房子不卖了，我们把7万还给他，再另外赔他2万。他不同意，他舅舅还在我家大声吼，我们更是气  我是只差不推他出家门了。后来这事又这样停了   他不来找我们，我们也没找他。。。
  今天 就是2011年11月19 我爸跟在福建打工的我QQ上留言说乙方来我们家房子的事了，说实话，我很气，我见他就像见到仇人一样，我不可能跟他同邻居，房子是人心灵的休息处，我住的心情没了，还怎么住，以后肯定少不了气，我就跟我爸爸回了个信息“不管多少钱，就是不卖，我不想以后跟他受气！
  律师们你们好，事情就是这样，我不知道该怎么办，请各位好心律师帮我出出点子，我在这谢谢你们了，有机会定当面请教！