十几年前的土地纠纷

你好 我是全南县的一个普通家庭，十几年前我家承包了一块山地种植脐橙，为了方便管理果树和解决自家住房问题，我爸去有关部门询问了是否可以在承包山地的范围内盖建住房。取得相关部门同意的同时，也取得了他家的同意。盖建了300平米的住房。并办理了房产证。几年后，由于土质问题，脐橙没能种植出效益。于是没有在理睬那些果树了。 当初我家只是这个山的承包人，真正是归属是他和另外一户人家，当初土地的价格也只要十几块，所以他家没有向我家素要任何费用。如今土地升值到近800块一个平方时。他家要我家付一笔钱给他，我家找到现在的村长，由他做中间人。村长说按照当初的价钱最多也就一千多，我家也同意把这个钱给他家。我爸就拿了两千块给他，结果他说要四千，我爸还是给了他四千，给他的时候却又要八千。于是我家不同意，毕竟房子在那里已经十几年了，也只是占用他家几十个平方，其他的是另外几户人家的。现在他到法院起诉我家，为此我家也为这事烦心。还请你能为这事给个说法，我家并不是不给钱，只是他这样我家无法按照他的意愿来给。谢谢。。。