我们家在十几年前分地的时候，把部分土地和别人家的土地互换（当时是在对方老人的要求下换的，为了他们家三个儿子人之间土地集中分配），然后互换的土地一直都是这样使用的 十几年没有变过，换地时双方是口头协议，说是以后就这样了。现在十几年过来了，最近我们家在换来的土地上弄了建筑准备喂猪，但是老人的二儿子最近要求我们给他三分地留着盖屋，他的要求合不合理，我们应该怎么办，注：当时我们互换的土地在老人的分配下 分给了三儿子使用，现在仍在使用。而老人已经去世。
----------------------------------------问题补充：--------------------------------------------------
互换的土地不是宅基地 ，我们换给他的是大片土地分割了一小块的土地 而他们还给我们的是和荒地在一起的小块地