我们家以前有一个树林，但是以前队上我要把我家地用做核桃基地，但是我家还有管理林子的权利

我们家以前有一个树林，但是以前队上我要把我家地用做核桃基地，但是我家还有管理林子的权利，但是里面的核桃是由我们队另外一个人来管，他五年要向队里面交租金，他和我们队队长关系好没有交租金，现在要把那个地退根了，本来该退到我们家头上的，但是反而对到那个人的头上了，说是他家的地，我们问队长是为什么，他给我们说不只到，我该咋个办。