建房纠纷问题

尊敬的律师您们好！我家前边邻居建房，我的房屋是两层，他建三层，由于我房屋前墙离他旧房后墙间距只有二点八米，协议他新建房屋在原基础上南移三点二米，由于历史原因他旧房比他同排房屋后坐七十公分，他将此七十公分借给我永久使用，我们两家中间墙在七十公分以南，我同意了。规划局批文下来后，他拆旧房时后墙没拆，明显有不让七十公分之意，我主要是想让他让七十公分才同意的，我感觉不妥，我找到规划局，相关人员说让他建完房后再拆，我很不放心，我该怎么办？谢谢！我和他的协议书全文如下：协议书，南邻***，北邻***，南邻因人口较多，需建房三层，考虑南北双方邻居采光问题，经双方协商达成以下协议：南邻新建房屋在原基础上南迁三点二米，同时后院三点二米中预留七十公分借给北邻作为前花园永久使用，中间墙在七十公分以南，借用土地所有权及收益权仍归南邻所有，南邻新建房屋一二总体高度和北邻同高，若南邻一楼比北邻高，则南北之间必须建贰米三以上高院墙。以上协议，共同遵守。南邻***，北邻***。