口头协议转让的土地经营了三十年了，应该属于谁？

尊敬的律师，您好，因1984年，张三起房子要用属于我家的自留地，张三就跟李四口头协议：从李四家的一口责任田地里划一块地作为补偿给我家用，并口头说让李四一家在张三的一块责任田上耕种（意思是作为补偿，但是没有说交换），至今三十年（没有交换）。而我父亲就在从李四划给的补偿地上种上了龙眼树（我家没有和李四有任何直接的交换），李四如今已逝世，但是昨天李四的老婆和儿女就以这块地是他们家的责任田地为由，种的树影响他们家的玉米光照，在未经我们允许的情况下，擅自砍掉我家的两棵龙眼树，并要求收回他们的这块地。而张三因其他原因没有在原来的地方起房子。现在我家和李四一家产生土地矛盾纠纷，这块地从1984至今一直是我家经营，我想问的是，这块地现在应该归属谁？我们对这块地有什么权利吗？被砍掉的龙眼树，我们可以要求赔偿吗？