农村建房给人拆了

农村的宅基地建房，证件齐全，后山有个祖坟，房子建到二层要建三层的时候，村里的几个说是墓的子子孙孙，说建三层会把他们的墓的风水给挡住了，不让我们建三层，实际上房子的第三层距离他们的墓还有一米多远挡不到他们的墓。我们建三层开工后他们4-5个人来把我们三层的砌的砖全推了。打110说让我们找政府解决，政府说让我们自己找肇事的人协商解决。但是肇事的人很多个谁也不想出面谈这个问题。就是不让建。建了就拆。农村建房不容易。我该怎么办。