邻里土地纠纷

本人农村，我家前面的邻居准备建房，经了解他们的建房面积已经是违规，而且他们的户口根本不在这里，但是他们却通过非正常途径得到了村委会审批，据了解他们的房子后面距离我们家正门约8米左右，这大约8米的距离之间一直是草地，由于上一辈的原因他们一直不肯让我们家来弄成水泥地，他们一直说这块地是他们的，其实这块地我爷爷那辈已经为了这块地用另外一块地和他们达成协议作为交换，我爷爷现在已经去世了，但是现在他们家一直不承认这块地是我们的，尤其是他们家的老人和建房人的大哥，现在他家要建房，我们两家又为了这件事起争执，我们家的想法是这块地由我们家来铺水泥，其他他建违建也不说什么，前面建房的是那位老人的小儿子，他家小儿子私下和我父母达成协议并通过村委会做见证签了简单协议说，那地由我家出钱铺，并且对外要说是他家交的那块地，我父母都是老实人，就双方签字同意了，但是父母细想情况不对，那块地是他大哥一直阻挠，不让我们铺平，坚决声称那地是他家，而且那家大哥很顽固，现在地还没铺，他家的房子也只是刚开始动工，我父母现在的要求很简单就是铺平地，并且一定要让他大哥知道，但是现在已经和那家签了简单的协议，我父母懊悔不已，现在该怎么办？