我家互换田地的纠纷

我家父母在九几年的时候，周围的邻居用附近的地换了我们家户外的田，（于是就换成了我们房子前面的一块空地）当时是有书面协议和证人的，都证明这块地是我么们的所有权。现在十几年过去了，我们家打算把这块地铺成水泥地，并且把围墙砌上。可是现在3户人家不要我们砌围墙，（说是挡着他走路。实际是是没有影响路人的一切行驶，包括车子也能过，可是他们就是不讲理，不然砌围墙）并且要求我们退土地出来。（因为当时我二爷的田也是和我们一起换的，在几年前，我二爷办了五保户，在领国家的钱。他们说我二爷是五保户，就要求我们退土地出来.)请问我家该不该退土地出来？我们有没有权利砌围墙？