建房（急）

我家正房三十年前就建在一条水沟上，有房产证，附房也在水沟上，但附房无房产证。现水沟是公共排水设施。现我申请到附房和附房前的一块空地的翻建和新建手续，有施工通知，无准建证（建房办怕不顺利，说自己先建）。邻居以公共设施上不准建房为由，要求我家的原附房改围墙让其通风采光，且围墙必须镂空，我让步，同意。但邻居还打闹要建好房子再围围墙。附房已拆除，（有施工通知再拆除的），建房办多次让我家让步。我家忍无可忍。我家该怎么办！谢谢！ 问题补充：
申请时已经和村委会签订保证排水设施畅通的协议，且得到批准！
    另新建部分紧挨另一户邻居，当初也与其签订协议，留一米宽的通道，现那家也来打闹说，这一米没说清楚离他家墙面，还是离他家墙面上的门一米，也不许我家建围墙，（他家墙上本来没门，协议前自行开设）。我们该怎样处理两家的事？谢谢！