私人建房，邻居捣乱

律师你好，我家建房，老宅推倒重盖。因为隔壁的房子比我们建的早，如今他们也在加盖。打地基的时候我们把自己的老围墙拆掉，地基是按老围墙的边再退了5公分的距离打的，从打地基开始，邻居隔三差五的就来找事，导致我们不得不停工跟他协商解决，陆陆续续已经半月有余，他家与我家相邻的那堵墙实际从二层就开始逐渐往外张了，这个有红外线经纬仪可以看出来，我家地基与他家地基距离是5公分可是但我们墙砌到二层的时候两家墙皮的距离已经不足一公分了，他家各种理由叫我们退，保持与他们墙皮5公分距离，后经过村委协商，并有书面协议，把我家让出的墙缝划给他们，我们只求安心盖完房子，说实话我们能空出那5公分距离也就是为了方便干活，可是我们小看了邻居的无耻程度，现在要打圈梁了人家不让我们靠人家墙上支壳子，我们的地基是2.4米宽，现在到三层了只有2.3米了，我们一味的退让换来的是邻居的一再刁难，我跟我们家人烦不胜烦，请问我該找哪个权威部门解决。我文化程度不高，表达能力不好，如果哪位律师能致电了解详情，我在这里谢谢您了。