你好律师，我想咨询一下关于违章建筑的事。事情是这样的，我家在农村（江阴顾山镇）之前十多年一直没人住

你好律师，我想咨询一下关于违章建筑的事。事情是这样的，我家在农村（江阴顾山镇）之前十多年一直没人住，现在老房子成了危房，翻新，准备偶尔回家居住，最初屋边是条小路斜的，几年前扩大，占用了我家门前属于我们的宅基地，造成马路离房子太近，我家靠马路墙体还被车子撞了个洞。现在我们想建围墙，后面邻居不同意，城管也来过说村里同意就可以建，后来后面邻居，我们，在村里口头商议后同意建高度大概八十公分的围墙，前面可以装栏杆，后面不许，就是靠近我们山墙部位不许装，说他们看不见，（但其实我们墙边之前是几颗高大的松树，还有一排绿化，路是斜的，农村之前就是说山墙出来一米是自己的）看不见其事是不可能的，他们场地高，就是不让我们建栏杆。现在围墙已经造好两个多月.最近在做栏杆要预埋，大概又高起八公分，后面人家不许我们后面一段也做平，就乘我们不在家拆我们围墙，后面一角被拆了。我们报警后派出所让其修复，村里让我们后面一段填高部分拆除，我们现在已经拆除，他墙体还未来修复，反而要求我们全部拆除。我现在就想咨询三方口头商议好的围墙是否属于违章，后面人家有权利出尔反尔要求拆除吗，我们该怎么办