在自己的位置建房受到威胁时我该怎么办

您好，早在1998年时我爸与其兄弟共同建了新房，堂屋是公用的，那时他把屋后面水沟用水泥堵住不让我这边水经过，在我爷爷手里时，那水本来就是经过他那边出的，就是因为种种原因，找很多让人心寒的事来惹非，所以我家现重新建房，独立出来，他闻风马上从外面赶回来以死相逼不让我家建房，最近还签了一份合法合同要求我家把我那公用堂屋这边卖给他等，在村委会盖章签名，可不到十几个小时就反合同，要求必须马上把钱退回给他，不然后果自负，当时他这一举动都受到村委的批评，可他却次次不改，村委都拿他没办法。他这些行为举动给我家在设计房屋时造成了一定损失，由于在建房我家不想与其争吵，可他却得寸进尺，天天守在家里，逼其我家不让建房，这是为什么啊，我不明白，为什么在自己范围建房，他都要做出这些让人无法忍受心寒的事？希望各位老师能给我一个合理的解决方案。家里就50多岁的父母在家，哥哥在新疆当兵，我在深圳工作，才去年大学毕业，这些事情都管不到。我该怎么办？