邻居是精神病，影响到了人身安全和造成经济损失

我们是村里的。邻居有一个精神病人，以前经常自言自语和说一些骂人的话，乱向周围和路边扔石头。周围邻居都不敢走近他家旁边。后来被家人送到精神病院治疗过，没多久就回来了。治疗效果不知道怎么样，还是会骂人和扔石头。后来更加越来越严重了，有一次拿一根竹棍出来看到我爸就想打我爸，幸好路边有人帮制止他了。还有一次向我们家扔砖头，还拿菜刀来回走动说一些疯话，那一次我父亲报警了。110叫派出所来抓人回去，后来放出来了，说他们管不了，要我们跟他家人商量处理。以前跟他家里人商量过好多次了。但是他家里人也不理他。说他们也管不了他，有时还打他母亲。他家里人放话了说我们把他怎么样都得，他们不管。也找过村委会，也没效果。
现在这样子的情况严重影响到我们的人身安全和公共安全，人心惶惶。有时扔砖头过来还打烂屋瓦顶和家里的东西。造成损失也不赔。
请问我们该怎么维护自己的人身安全？？？