交换过的枣树能否要回？

我家西边地里有10多棵树，因为离家较远，因此想在村西边换几颗枣树，用来堆放粪便之累的东西。因此找到同村的吴某（是我侄子），他家有几颗树在西边，经过协商他同意换树，因为我家西边的树不多，后来又和同村的几个人，一起换了树，到现在好几年了，因为这2年树值钱，而且在树南边原来也是枣树的地方现在都盖成了房子，导致地方比较值钱，因此吴某想把这树再要回来，请问专家，他这样作可以吗？有没有根据之类的。