关于祖辈留下的土地使用权的问题，只有人证没有物证，是否可以证明

律师您好，我的情况是这样的，几十年前，我们祖辈在自家土地上建了住宅（老祖屋），到了70年代时搬出去县城住了，此片地方自家就拿来种上番薯，直到后来生产大队队长说需要租用我们这片土地用以建碾米房，便和我祖辈口头协商借用。
     由于疏于管理土地，80年代被村里的其他人拿来建了房子并居住，当时祖辈出于情面未做相关土地手续便给他们暂用，但如今那家人反悔不还土地回来了，声称是他们的了。现在情况是，从当初借给生产队队长时就没做书面物证，而只有人证，便是那大队长，他还在人世，也表示愿意站出来作为人证，而对方有土地实际使用事实，恳请律师帮我分析一下，我们是否还能拿回我们的祖宗屋地呢？恳请律师能帮帮我们，谢谢了，在线等佳音。