关于农村土地的归属问题。

我的父母是农村的，在很多年前大队分的土地。因为种种原因与村里的一户人家协商调换了一块距自己家近的一块土地。事情就处在这块调回来的土地上。 
涉及到二个村上大队长（以下就简称第一、第二任），第一任大队长把这块土地分给了我们家（他现在可以证明），第二任又把这块土地给了另外一家人（简称乙方）。现在乙方要该房子，想侵占这块土地。我们家认为这块土地是我们家调换回来的，而且我们是在先得到这块土地的，这么多年了，乙方也未有过任何意见。为这个是闹了起来，想问一下，应该怎么处理这个事？先谢谢！