宅基地问题

有件事请教您。我爷爷辈老家的宅基地，是土改政府确权后发的土地证。三分之二的宅基地早已让我的姑表哥一家居住，盖房。1971年我母亲原来老家有一个远方侄女嫁到我们村，家里很穷，没宅基地更没房子求我妈妈将我家剩下的三分之一的宅基地先让他们临时盖个简陋房住。我妈妈没办法出于面子就同意了。现在这个侄女早已去世，她的儿孙早已分到新宅基地盖了两处大院子，原先在我家盖得房子已经成了他的小五金厂的加工厂。据说现在他要拆掉旧房盖楼。根据法律目前我还能收回这块宅基地吗？当时我妈妈答应她是没有任何文字手续，只是口头同意暂用。现在他家的情况早已不是当年的困难状况，他要是不拆保持原样，我和我表哥也不提要回。如果错过此机会他盖了楼就更不可能要回了。
    根据你的经验和法律规定我还能要回吗？谢谢更你指教。