土地争纷

我们不是很富有的人，家公家婆两人辛辛苦苦在外工作十多年，为了就能在老家盖上属于自己的房子。三年前房子盖好了，但盖好了主体没有装修，大家就出来工作了，可今年8月底听到隔壁有人打电话告诉我们有新田主拆掉了我家一些石头，说是我们做出了。我们当时也没有立即报警，只因为想到大家都是亲戚，不想搞得太那个，所以我们就努力找他谈，可他连面子都不给，就是不肯。过了一个多月，不知道他咨询过什么人，他就直接约我家公（家公一个字都不懂写的）还有家里人，签了什么东西。然后就说要在我家三米拆开那些石头看，如果我们土地下的泥土是硬的就是我们没有做出，如果是我们土地下泥土是软的就要拆到三米里面，我们房子四面都是田地有水泡着，怎么可能用这些来断定我们有没有做出。我们跟他谈都没有什么用，全村人都证明他对田在后，我们盖房子在前，全村人都签名字证明。可他说全村人的证明是假的，只因为他有钱，去我们那谈判还带着几个黑社会人去，现在他说要打官司，叫村里人签名，村里人不签名，他就跟村里人说，到时候他打赢官司，之前在我们那签名有名字的人全部都要赔偿他，请问一下我们该怎么办才好？