政府不卖账了怎么办？

2013年底本着发展烤烟生产的目的，应**政府邀请在当地进行烤烟生产，政府协调了100多亩土地租赁给我用于烤烟生产.前期生产现已全部完成.可是现在得知这100多亩土地两年前已租给另外一个人并且他的租赁时间还未到期，具政府说当时租赁那土地的人口头上承认政府自行处理这片土地，所以才租赁给我了。但是现在那人又要要回这些土地的使用权。我该怎么办，糟糕的是当时我没有和政府签署租赁合同，也未缴纳租金。只是口头的商谈好了。对我个人唯一有用的就是在那些土地周边，政府都贴有本人姓名以及大力发展烤烟生产的口号，和烤烟生产基地之类的标语。现在政府不卖账了，叫我们找先前租赁土地的那个人协商。我该怎么办？