我该怎么办

我家97年的时候申请了农村房屋建造用地，是翻建，就是造了新房，要把老房拆掉，还交了押金，老房拆除后可以还，那时就造了地基没钱造房一直拖着，01年的时候举家搬到他地，不想再造也就把押金还了回来，并且把老房子和地基的石料卖给了邻居。03年的时候村里有消息说要拆迁，就把房子和地基都买了回来。当时村里的一个干部Z说我家的地基已经过期了，花了两万买了地基，并立下字据（但是立字据的日期该成了01年，我爸的名字也写错了，字据是他们村里的会计写的，还盖了村里的印子）说如果以后拆迁了，就按照老房子的面积赔偿给我们，（因为是翻建的原因，我家的老房子就不能当正房的价格赔偿了），然后自己通过关系就造了房子A，因为据说要拆迁嘛，他就在地基和我家老房之间又造了一套房子B，而这间房子的用地以前一直是我们种菜的，他建造的时候也没跟我们说过。几年后村里换届因为贪污什么的被抓了起来，判了刑，坐了几年牢，当时追查的时候把后来造的房子B直接拆了，他老婆和村里的另外一个人跑到我家里来恳求我爸把房产证复印件和字据的复印件给了他，保下了房子A，并口头许诺到时候拆迁的时候给我们120个平方（这件事情我妈和我当时不知道），就这样房子A没有拆掉，出租给了外地人，租客在拆掉的房子B上种起了蔬菜。几年后干部Z也出来了，一直相安无事，事情到了今年的夏天，我舅舅家因为拆迁就暂时搬进了我们的老房子，因为屋子傍边的菜地跟外地人起了冲突，这块地从我爷爷辈开始就是我们的，就要求外地人不能种了，留给我舅舅用，本来已经说好了，这时候干部Z又跳了出来说这地是他的让外地人尽管种好了，我们打电话跟他说了好几次都没结果，一开始还推脱说不知道，后来就直接承认是他让外地人种的，并且种到了我们老房子边上，在电话里搞得不愉快，最近又开始不断地找麻烦，并扬言要让黑社会打我爸一顿。（出来后一直没工作，前段时间因为聚众赌博都被抓进去关了几天，跟一些流氓地痞为伍）其实他这样咄咄逼人就是想要逼迫我们重新签订字据，因为最近违章建造查的很严，他那房子没有房产证，相当于我们家的翻建房。问题，第一，他那个房子算是违章建造吗？第二，那张字据具有法律效力吗？第三，对于他的咄咄逼人我们该怎么做？谢谢