关于农村土地交换多年后引发的纠纷

您好：
   情况描述：大概是20年以前的事了，原先是两家的两块地挨在一起的，中间有条埂，因对方的哥哥家要建房，而此时对方家的土地不够建房，对方要求我们跟他调换下土地，给他哥哥家建房。当时我们也因为都是门旁邻居，碍于情面，同意了跟他家交换的请求，但因为当时我父母亲的法律保护意识薄弱，没有签定什么协议之类的证据性东西。到了今天，可能因为土地增值的原因，他家要把20年前交换的土地要回去，但不是简单意义上的要回去，而是违背良心胡搅蛮缠的要霸占我们家更多的土地，来讹人，欺压人。说什么他家有多少多少地，说我们现在使用的土地上还有他家的地之类的话，仗势欺人，凭借他家儿子多、又有黑道上的，简直就是地主恶霸、地头蛇，村里面的人都很怕他，不敢出来主持公道。此时我们家将情况向乡政府有关部门反映，让他们来处理。他们也来到村里，了解到事情的真相，知道这家的为人，也不敢得罪他，拖着时间，让我们等两天，他们来处理这件事，但迟迟不给我们答复。苍天在上，土地在下，难道这世间真的是黑白不分，没有公道、没有天理了吗？我现在想通过法律的途径来解决这件事情，请问下我们该如何做，才能维护我们的合法权益不受侵犯？在此深表感谢了，谢谢！希望看见后能尽快给予答复