农村建房高度，距离纠纷问题。问题很严重！！！！

律师您好，现有3户农民同时建房，经邻里协商，统一高度，为了美观，我就是其中的一个邻居，但是他们3户之中唯独在我东侧的一户失约，虽然基础水平高度都在一个高度，但是只有他把房子建到3.8米高，其他几家都是3.4米，因本人房屋以建成15年，所以不会有重新建房的打算，我让他们几家都比我的基础水平高度高出去40厘米，这样以来，他家比我就高出去80厘米了，相当的不美观了，本来为了邻里之间的关系，默许他现在的高度，只是找他聊聊，并没有阻拦的意愿，可是他家恶语相加，百般无理，辱骂家母，我实在看不过去，所以去政府的土地局和城建部门反映，帮忙处理纠纷，可他家和村里，镇政府的相关工作人员相处熟悉，不予理睬我的问题，现在解决还来得及，只是不要建那么高就可以了。可政府部门一拖再拖，我该怎样维权，请律师帮忙，要是等建成了，对大家都不好。