父亲遗留宅基地本侵占，这种情况下能否维权

本人今年40岁，五岁时，父亲去世，母亲改嫁留下一间房子，本人随母亲去到继父那里离亲生父亲地五里地，也经常见到亲生爷爷奶奶。随时间流逝爷爷奶奶年老，没有人养老的爷爷奶奶由我大爷家的哥哥照顾但哥哥说你要养活爷爷奶奶这院子归你，不养活你的房子上盖属于你，地皮是爷爷的所以你要把房子拆了，（这期间也爷爷说我父亲没有批房基地，就在自家的院子盖了房子是在他不同意且不在家的时候奶奶答应我父亲在自家院子盖得房子，回来时房子已经盖好，所以这房子地皮也不属于我）
 在我14--15岁的时候我哥哥要求我把房子拆掉，我当时不懂事就听了他们的。当时哥哥每天也帮我拆，拆到一半的时候舅舅把我找去说不让我再拆了说房子是我的将来回来有地方住，然后我就没再继续拆下去，我就从哥哥家回回到继父家，过了没多久哥哥又找我还是让我拆这样又把我带到他们家，结果这次完全拆掉了（期间我大爷和我哥哥他们也找我吃过一次酒席意思是他们口头说将来我如果回来他们帮助批房基地）
房子拆完过了两三年我就出外打工了，一转眼到现在。前段时间舅母说母亲回去说我现在还没有房子，没地方住（继父养的十八岁就不管了，母亲呆傻），说是那块房基地你能要。所以我想咨询一下，这种情况下能否维权。我现在手里没有任何的凭证。只是舅母说父亲留下的房子和去世的事整个村里都知道