林地纠纷

纠纷原因是这样的，七十年代的时候，响应政府号召退根还林，当时我父亲一直不在家，我爷爷的身体不好，我爷爷一直种的地被邻居栽上了树，后来我爸回来发现种了树，一看是兄弟栽上的，也没说什么.现在爷爷去世了，树长大了，那邻居说树是他的。还说那地以前不是地，是荒山，是自己辛辛苦苦挖出来的。我爸一直在家比较弱，没有群众基础。只有一个人出来作证，其他村民都说不我家的。请问如何是好。