盖房 邻居阻挠 有背景 打人

对方家庭：属于村里最大的家族吧，兄弟姐妹很多，在外发展的人也多，暂时知道的是对方家里有人在市里工作，当官的。
我方家庭：普通老百姓 农民出身 没有什么官方的关系
事件详情：我家要盖房子，地基在对方家里正面，在开工之前邀请对方家里人沟通看我家的房子是否有需要注意的，他们有什么要求没有，对方没有搭理，那么他们无所谓也不说话后来我家就开工了，屋子第一层已盖好了之后，对方以各种原因阻挠继续施工，说什么风水对他们有影响，要求我们把房子拆了重盖，报警后警察说这个要村里调解，经村里调解后，然后我们家做出让步，房子稍作调整，他们当时也同意了，之后又反悔，说屋檐水会流到他们家里等理由继续阻挠，要求我们拆房重盖，报警后因无人员伤亡，后再次协商经村里调解以后，我方继续动工，开工的时候对方又来人阻挠了，还把我家里近80岁的老人推到在地，当场送医，警察过来说先看病，盖房暂时搁置，现在我们应该怎么办，没方向了