我是河北保定曲阳的农民，由于家里的旧房翻盖，把原来50年左右的老围墙拆了

我是河北保定曲阳的农民，由于家里的旧房翻盖，把原来50年左右的老围墙拆了，新围墙在原址的范围之内，并且符合宅基地本的的尺寸。现在邻居（50多年前的邻居，目前并没有人住，也没有房子，只是一片空地）说我们的围墙占了他家的地方，想跟我家要1万元，否则不让我家施工装修，用铁棍子翘我家的围墙。我家找村里的干部给解决，对方死不讲理。我家又找乡里的领导，乡主任只说是我家的不对，事实上乡主任并没有到现场勘察。我们家报警，派出所去了之后，把被翘了墙的地方拍了几张照片就走了，并说这不是打架，打不坏人，我们没法抓人。后来我们又找过几次，所长去现场看了看，对方看派出所来了，就破口大骂“派出所是你爹吗？动不动就找派出所？”对方态度极其恶劣，所长在场的情况下还想打人。此时到现在也一直没解决，我们不知道该找哪个部门来解决问题，总是被推来推去。明事理的领导也会说句公道话，但并没给接手此事。不明事理或偏向对方的人，只知道说我家做的事不对。
请问我们该怎么办？