我老家是农村的，离现在差不多十多年了，与同村的一个人换了点土地

我老家是农村的，离现在差不多十多年了，与同村的一个人换了点土地，用来建房子，当时那个人出外打工去了，换土地的所有事情都是他的亲戚在帮忙办的，（那个时候农村换土地都是两家人商量一下就好了，不要什么书面协议和一些土地所有权证，房产证等东西的，请同村的人帮忙量一下就行了。）我们也在换的土地上盖了新房子了，大概是2010年或者2012年左右搬过去的，现在都快2019年了，那个人的亲戚在世的时候啥事情都没有，可是那个人的那个亲戚去世了，那个人也突然回老家来盖房子了，以前感觉那个人还是挺不错的，谁知道现在变了，总是各种找借口找茬，（因为现在在农村建房要有各种各样的证件，可是我们的证件还没有办好，当时是市里来人办的，全村一起办的，可是现在还没有办下来那些证件，），那个人回来盖了房子，他因为其他原因来找茬，担心他在反悔曾经与我家换的土地，万一他说不在换那块土地了怎么办？我们已经住了那么久了，而且现在要是没有那些证件是不让建造房子的，又没有书面合同，万一事情闹大了，要是打官司的话，查出没有那些证件，万一房子被强拆了怎么办？（那个人还说自己现在有病，一点道理都不讲，辈分又比我们高，大不能打，骂不好骂的），我们只想安安稳稳的住着就行，要是真的闹到法院