近两年我们家所处的农村进行旧村改造，我家旧房已经拆了，旁边家不愿意让我们建房了

近两年我们家所处的农村进行旧村改造，我家旧房已经拆了，旁边家不愿意让我们建房了。具体情况是这样，我家和我大爷家本来是一个院，在我父亲结婚前进行了分家，当时有个四至，有具体划分规则，以我们两家中间为界房屋和院子分好了。等我们上学了，他家不在这间房子住了，四年前我家因为孩子大了，屋子不够住经过村委会同意盖了新房，在我们两间四至划分的地方磊了一到院墙，属于我们的公墙，墙两边是两个独立的院子，以后各走各路，建墙费用经协商一间一半，并对此事签有协议，房子盖好后他家也没给钱，这事就这么算了。我家老房属于危房，现在有政策旧村改造，我家想把房子重新弄一下，建房之前所有手续都齐全，并且签署了四邻同意书，四邻包括他家，并且在村委会备案，房子现在拆了，他家又不让我们建了，施工队施工的时候进行阻挠，想让我家在原有划分基础上给他家让两米院子，否则就是不让建房。想请教一下律师，这种问题能通过什么途径解决？如果报警，警察来了人家同意和解警察走了又开始闹，我们上班也不可能老盯着，怕这样下去问题得不到解决。还有他家无理要求我家给他家多让地方，这个在法律上有没有什么说法？