主张40年前走过的小路的权利是否正确？

你好！我老家是农村的。在改革开放之后，房子旁边分到（承包）了田地，并且我家在1984年就建起围墙，把分给我家房子周围的田地和房子围了起来。2016年11月份，我村一个邻居就说40年前有条小路，并且他走过，现在要求我家拆除围墙，并让出一天3米多的路，由于我家拒绝，他拖了2车石粉把我家门口堵住了。请了镇上的公务员处理，但是都不理睬，也没出个结果。目前，他买通村里面面的人，联合出份声明，准备告我家，说我家的围墙违规（1984年建立的）。请问，他主张40年前的权利是否正确？该如何处理？
  PS:他有3个儿子，有一个是在一个镇上当副镇长，一个在一个镇上派出所，一个儿子做生意，村里面的人收了他的好处，部分都给他签名了，他还在联系签名中。