协议租赁的耕地被霸占，想咨询下怎么拿会来

邻居在自己家耕地上建房，是在耕地中间，没有大路可以通向大马路，车辆进出不方便，于是和我家商量在我家的耕地上借了一条路宽的地修了条土路，当时2家关系很好，父母亲就答应了，签了张一年150租给他当路的条子（路大概2米*30米，其中占用我家地2*5米左右），约定除耕种以外的原因不得收回。现在他们家要霸占这条路所占的地，不让我们使用，连提议一起修路，共同使用都不可以，我想问下怎么才能拿回那块地的使用权？（所签协议没有约定年限，租金也从来没见过。他们家到大马路只有一条田间小路还有就是占地的那条土路。）在农村用耕地建房已经是普遍现象，包括我们家也是，建了几年了，也是没人管的，村里镇里什么的也是不管的，找下熟人估计建房审批就能下来，以这个理由上诉有用么