邻居的房屋大部分建设在了我家耕地上是否可以打赢这官司

多年前邻居通过各种关系在我家对面进行了建设，算是对门邻居，建设北房共五间，其实他的宅基地应该是四间房屋，其中一间占用了道路，南北同一宽度的街道，在邻居这里突然就变窄了3米多，以至于车辆都挤到我家门口了，非常不方便，今年因为邻居又在占用道路方面变本加厉，增宽地基，致使我家出门更加不便，我家找他协商，他不但不收敛，反而让我们随便去哪里告，今年4月份家人没有该房屋的相邻权去起诉，因为可能会牵涉到当年村干部让他占用道路建设一事，我家人选择了同样是他家房屋违规占用我家耕地建设的事实进行了起诉，我家承包合同等一应俱全，期初法院的说法对我们还挺有利的，但现在法官让我们撤诉，说是过了诉讼时效了，要说明的是他家房屋建设使用已经有5年左右的时间了，这些年没少争吵和生气，实在心疼父母了，就来咨询律师，望律师指点。谢谢！