他不准我耕种我应该怎么办

我是一名农村人，不懂法律。我的事情是这样的，11年前我家有五口人只有三个人有田，那时候种田要把好多费用的，我们村上有户人家都到外地工作了（他们都是城市户口），就把田全不要了，因为我们家田少，村长就把他家的其中一口田分给了我家，好像是95年办土地证的时候。这块田就改到我家的户头上（从一开始我们种这田时候，村里的土地名册就改到我家了）。现在种田有补偿，他又想要把田要回去，我不肯给，他说我是违法的，说土地在1997年以后变更的都不算，我想当时是你不要的，又是村上分配的，总不能让田空置到现在在那等你吧，等你那天想种就种吧，不想种就不要了，还有你们都不是农村户口。我不退还是否真的违法了吗？要是那样的话我真想不通。希望你能给我解答一下。
谢谢。