我家房子现在都盖好了，就差粉刷墙壁没完成了，现在后边的邻居天天找各种麻烦

我家房子现在都盖好了，就差粉刷墙壁没完成了，现在后边的邻居天天找各种麻烦，还骂工人不让施工，非说我们东强没有留滴水，其实东山墙就是路，这个路是我的爷爷为他们向政府要的路，我的爷爷和他的爸爸是亲弟兄们，上一辈都有恩怨，现在我们这一代盖新房子他还是找事，东山墙排水不让埋暗管，还不让水流到路面上，非说我们房子后面屋檐下雨会流到他们房子上，其实我们已经留有天沟，下面有排水管根本就流不到他们的房子上，况且我们的房子后面还留有50公分呢，和他们讲理也讲不通，张口就骂人，就连工人也骂了，当时我爸也报警了，警察说让我们去村委会协商，我们也都一起去了，经过协商双方达成协议，同意施工，不在找麻烦，并且还签订了协议书，按了手印，结果现在又来找各种麻烦，辱骂工人，我们又去找村委会，结果村委会说那一片不属于他们管辖范围，说包给某某人让我们去找他管，结果我们去找他，他又说让我们找村委会，都互相推脱责任，请问这种情况我们该怎么办？？？