我家外面一户占用我家出路多年，重新建房时怎么要回来

1985年经当地村委会协调，暂时让我家外面的一户可以建房时向后建房，但条件是重新建房时需还回，也写了一份证明，因各种原因，没有注明拆旧房盖新房是需归还还是永久给对方。经多方调解无效后，2014年8月对方搬出95年河北省高级人民法院关于处理土地纠纷案件若干问题的意见（试行）中的第二十一条“农民集体连续使用其它农民集体所有的土地已满二十年的，应视为现使用者所有，连续石油不满二十年，或者虽满二十年，但在二十年期满之前所有者曾向现使用者或有关部门提出归还的，由县级以上人民政府根据具体情况确定土地所有权。”村委会主任就直接说归对方所有。这样的情况我改怎么处理要回我的出路。