关于农村宅基地纠纷问题。

农村有一祖屋，传到我这一代为第五代。祖上四代一直在该祖屋居住，有300年之久，而我在市区出生。祖屋现有大伯一个居住，无后。
于80年代为另一亲戚（我祖公与他家祖公为兄弟的亲戚关系）强借三分之一建房。
90年代他家在村里拿地建房后搬出，遂问我大伯借钱，后经他家和我大伯商议，虽地为我家所有，但房子毕竟为他家所建，所借他家的钱当作买下该屋，当时并未留有任何字据，也没有第三方的见证人。
后大伯把祖先神位安放回该屋。今年他家到处说该房屋为他家所有，想要回。
请问这事应该如何解决？非常感谢

注：
1. 本村所有宅基地都没有宅基地证。
2. 对方没有任何证据证明该地为他家所有，相反村里很多人都知道该地为我家所有。
3. 找过村长，反应了该情况，当时在场不少同村人都表示该宅基地为我家所有。（但如果将来发生法律纠纷，很难找到这些同村人证明。）
4. 村长表示他家无法抢到我家的宅基地，让我放心。