土地争议——交换后的土地被无理收回

您好，我是吉林省辽源市东丰县的一位农民。最近我家出现了一件土地争议的事件。
  我家的农耕土地在20年前和我三叔由于某种原因交换了2亩地，当事人双方是亲兄弟关系也就没有立下什么依据，只是自愿这种事在农村屡见不鲜。不久后三叔的户口迁出本地，土地被收回。后来遇上土地整改，交换的土地上改在了我家的名下。
   前段时间不知道哪里冒出来一个远房亲戚，说那两亩地是他家的，想要收回去。为此我特意和三叔了解情况。据了解那块土地以前的确是他的，可是后来他不种地了就把那块地交给当时当兵回来的三叔种了，三叔把户口迁出的时候所交代地里面有两亩地是交换后我家的那块地。他家的地已经改到我家名下了。但他坚持说那块土地还是他的。由于我家有劳动力的人都出去打工了，在事情发生时家里的老人不知道事情的经过也不敢得罪村里有势力的那伙人，就没把这件事告诉在外地的我们，他们带了很多人到我家去要地，并且老人在不明原因的情况下签了字。把土地交给了那个亲戚。我现在也不知道该怎么办了，因为是农民懂得的法律不多但是这件事却是不合法的。现在母亲因为这件事都病倒了，我也是一头雾水不知道该怎么办了。
　　　希望您能给出一些宝贵意见及我该怎么去要回属于我的土地。
　　　                                         谢谢您了