邻里建房问题

我家与一邻居家仅一墙之隔，我家北房后墙是他家院墙，2007年他家房屋翻修，紧贴着我家北房后墙将原来的平房盖成了三层小楼，并从二层起安装上了窗户，二层三层都有共计十一个，当时我父母就向他本人说明过，说我家以后房屋也是要翻修的，请他取掉窗户，他坚决不取，无奈之余我父母通过县城建局出面调解，但调解时邻居本人不到场，到他家调解时他不开门，让他在调解书上签字他也不签，经过长时间折腾后县城建局也不了了之，我们全家在他们全家“监视”之下生活到2010年。从2010年开始，我家房屋出现裂缝，经县城建局评估后定为危房，并同意翻修，我们全家商量后决定建成三层小楼，但当一楼的墙砌好后，准备盖第二层的时候，邻居以侵害他家采光权为由屡次阻止施工队施工，并从他家二层窗户过到我家屋顶推倒钢筋柱，将人力车从屋顶扔下，现在双方仍僵持着，我想咨询一下，我们该怎么办？急求答案，谢谢！