盖房子挡到了邻居的阳光

我家有处老院子，邻居走路一直都是走我们的地方，他把房子的墙边建到他家的边界，所以一直走路都是走我们家的地方，这两年搞新农村建设，我们这发展不错，他家前两年盖房子，把走在我们地方的路当做他们自己的地方，我们家不愿意，他们就找来村长说话，村里干部来了好几次，最后没办法，他们家赔偿了几千块，这事算解决了，地方就给他们了。但是他们房子后面有块地方还是我们的，他们走路放东西还是用，我们也没跟他们家计较。现在我们家盖房子了，他们家就直接上告我们，说我们的地方是荒院，不允许我们家盖。告到市里，省里，村里领导来说了，大队领导也来说了，镇里领导也来了，说不让盖，让我们自己调解，我们去他家了好几次，好话说尽，承诺他家房子后面走我们的地方也给他，他家同意让我们盖，但是条件是我们家四间房的地方只能盖三间，等于我们的房子盖一半，说是我们盖房子挡到了他们家的阳光，现在我们该怎么做呢？