你好，我有关农村土地置换的事向你咨询一下。我家和我们一个亲戚

你好，我有关农村土地置换的事向你咨询一下。我家和我们一个亲戚在2001年将修公路后剩余的土地进行了兑换，都剩余十几平方，并且都临近公路，我们两家的两块地也都挨着。是对方先提出和我们兑换的，由于是亲戚，也就口头答应兑换，没有书面协议和证人，后我家就在我家的土地上盖了房子，由于亲戚家剩余的地是一个斜三角形，我家盖房子基本上没有占用亲戚家的土地，就这样一直闲置着，都过了十四年了，我们这边有所发展，对方提出要要回他们的那点地，请问对方能要回吗？？怎样通过法律途径才能让对方不能要回那地。