有关农村邻里之间盖房子的问题

我老家农村准备盖个二层（现在有一层），屋后面有个邻居（也算是邻居吧），因为他和我家中间隔着一条出村的公路大约有7、8米宽，当初盖一层时，他找过我们，我家也是为何不伤和气，就采纳了他不让留后窗的说法；但现在因为一层平房漏雨了，要加个顶棚（非砖混结构），前几天礼貌性的问了他一下，他说同意加盖一层绝不能留后窗；我们就开始准备承包出去，可现在他让村委转告我家----不光是窗户连二层也不允许，我想咨询一下这个应该怎么办。