一片小宅地的归属问题，想请专业律师帮忙梳理一下

梗概：
1.大约20年前，那年我们村里有个政策，就是可以以老宅子换新宅子，我们家东边隔着户人家，他们以以旧宅换新宅的方式，在村里的其他的地方换得的一块新地皮，这块老宅基就成了公用地了。
2.这块老宅基地皮大约有80-90平方，但长宽不够一套房子，这块宅基地东南北三面被其他人建的住房包围，我们住房在西面，距离这块老住宅3米左右。
3.以前的住户因为以旧换新宅，不在这个地方住了，而且还把这块地上的土挖走了，还挖了很深的坑，后来不久还是我们自己买的土，把坑填上的，然后我们在这块地上种了树木，而且还开发了土地，在上面种上了农作物，一直持续到前几天，并且在此期间没有人持任何反对意见。

问题：
1.老住户今年突然想回来盖房子，让我们把那块地皮上的树木砍掉，不知道他这样做是否合理，有没有法律依据，如果有的话，请律师帮忙分析一下。
2.我们已经在这上面种了树木，种了农作物，都快20年了，没有人持反对意见，我想问一下，这样是否意味着我们有这块地皮的使用权和所有权？有没有法律依据可供我们参考？
3.如果我们选择司法程序解决的话，我们的胜算如何？