邻里之间纠纷

我们是农村的，两家房子是按一排一路盖的，我家在前，他房在我家后面，都是坐北朝南。门口向西是路（我家门前的路都是自己铺的，现在都往这走）东边是村里的老房子，和现在盖的留有约1.5米的距离，我家在后面盖了起来，毕竟是农村放点杂东西什么的。就最近一直下雨，他家门前那条路没有垫，可泥。他家就硬把墙给拆了（之前说过一次，我们没有同意），东西搞的一片狼藉，吵了半天（我们一家不会吵架也没有跟别人吵过架），晚上她老公回来和她，她哥来我家（酒味老大了）当时我在家，直接说明天把东西挪干净，那边泥，往这边走。我说等我爸回来你们说。我爸回来后他们说这是公家路我们一定往这走。我爸说那边毕竟是大路你们也操点心把路好好垫起来至少没有那么泥，也就没有同意他们的意见，吵了一会都回家了。一晚上老爸都没有睡觉，第二天我爸气的慌就在那胡同里放了树枝。到了中午他家女的在大街上破口大骂，骂我们全家，（我爸正好出去办事，交待我：他们无论怎样不让我跟他们说事，怕我年轻跟他们打起来）我也就一忍再忍。他们也太欺负人了。
请问各位高手这个事该怎么办？