遇上了村里的无赖，该怎么办？

村里有个无赖一家人，六月份的一场雨，把她家的田上面塌下来了一个小角，别人都说是天灾。可她就是不听，起初每天过来骂我家，后来又过来砸我们家建在池塘边上的柱子。都被砸出了钢筋。还说要剪了那条钢筋。叫过派出所，他们来看过也说不是我们家的责任，村长过来看了，却说是我们家的错，不该把池塘那部分填了，还让我们把她们家的田修补好，以他们家这样霸道的人当初要是没同意，池塘怎么会填的起来？还想逼我们家跟他家换地，还要给他们家补贴。每天一大清早的就过来骂，都骂了一个多月了，因为我要外出打工，一年才回一次家，这次回家就碰到这种无赖，村里对他们家没办法，一方面是亲戚关系，另一方面也是可能怕她们家骂。所以就一直说是我们的责任，我想说，村里有这样无赖般的老人跟她们家无赖的儿子儿媳，她儿子儿媳在背地里，让她们两个老的来我们家骂，不止骂我们还骂我死去的爷爷奶奶，说的话就不知道有多难听。有一次她媳妇还把那个老太婆推到我们家，一个人坐在我家，还去我家里东看西看，她儿媳还说，你以后就在她们家住了，他们会养着你的，死了她们也会帮你抬上山去的，这样的人还当着派出所的面说我们家的不是，难道老实的就得给他们家欺负了？？？