我家因建房和隔壁邻居闹得不可开交，我们家在左他家在右我们是二队他们是三队中间还有三米多的过道

我家因建房和隔壁邻居闹得不可开交，我们家在左他家在右我们是二队他们是三队中间还有三米多的过道，过道前面有住户过道长有二十多米，被他们家给强占了，因为那是属于三不管地带所以也没人管，但是我们建房他让我们还要给他留二十公分就因为我们不同意留所以就不让我们挖地基上搂板，结果在万般天耐被逼之下和他的鉴定了不平等协议，他要我们每年给他们拿一千五百块钱，直到他老人家死去为止。他儿子不在家管不了。家里只有她们老两口在闹。给他儿孑打电话他儿子就说他妈他也管不了，让我们给他妈拿钱他回来的时候他再还给我们，请问这样的协议有没有法律效律，现在他还在给我们要钱，我们建房的时候己经给了他三千五了，今年包括以后那一千五都不会再给他，不给他他今年又开始闹了你说我们该怎么办，谢谢你请帮帮忙出出主意