种植别人的自留地事情经过

我对象家父亲家住在江苏省邳州市四户镇，门口种了一块地，这块地十几年前分土地时候是分属于邻居的，但是十几年前邻居外出打工，这块地就荒废了，我对象的父亲心想地就这么荒着浪费了可惜，正好，那时候国务院总理朱镕基大力倡导城市的绿化，需要农村的树木，于是乎，我的老丈人就把邳州的市树-----银杏树给种上了。自己三天浇水，两天打农药，好不容易看着树一天一天的长大，如今，树的价钱涨上来了，我老丈人心里盘算的，正好可以把树卖了可以改善一下自己的生活。
  但是，今年上半年，这块地十几年前的主人，回来了，看着树长得枝繁叶茂，认为自己当时占着这块地，只是自己不种，便非要地里的树不可，开价“给三分之一的树给他”。我老丈人心想，自己辛辛苦苦这十几年种好的树，眼看就可以卖钱了，他来横插这一杠子，心里很是不舒服，而且白白的把自己种的三分之一的银杏树给他，当人不愿意。于是乎请法律专家给指点一下，顺便告诉我们如何走法律这个程序。


多谢多谢！