农村土地纠纷

邻居在我家房子前面的土地造过个养家禽的茅草房，倒塌了30年左右了一直荒废着，邻居也没有那块土地证件，但是邻居认为那块地是他们的。我家刚修房子时，邻居主动说要把那块地换给我家，于是给了邻居1000元当做补偿给他们，还写了协议。不久后，邻居又反悔了，于是我家也就不要那块地了。可是后来邻居又找到我家，让我们用田地跟他换，于是在村干部的公正下划了块田给邻居，但是现在邻居再次后悔了，还把我家种在那块地上的花树和菜挖了。
     请问我们该怎样处理。