委托代管人的儿子是否有权追回代管权

我祖父在30年代为本家远房堂兄代管茅草土坯房屋三间，（无书面代管协议）房主去了台湾。在1951年登记房产证时加代管二字（原因不详房主仍等级为原房主）。期间房主一直杳无音信。直至80年代初房主的女儿女婿回国内（当时已经入美国国籍）看房子，当是我祖父已经过世，他们给房子照相并给我祖母照相，说房主的儿子一直牵挂老家有祖屋，原来是这么破的房子，照相带回去让他死心（房主的儿子走的时候约4岁）。后来家里人陆续回来都看了房子（二个女儿女婿一个儿子）。只是看看就走了，期间也没与我们联系。房子在1990年下雨倒塌（期间我祖父母包括后来我父亲兄妹都长期居住，一直精心维修，因为屋顶是海草主墙是土坯），于是我祖母就与我父亲三兄弟轮流照顾，轮到谁家就住谁家。在1991年房子被村里一弱智男子于夜晚烧毁。之后其（房主）家人又来过也见过表示放弃（只是与街坊邻居说过）。之后村委干部提示我父亲村里将要规划，如果没有房屋地皮就是国家的，如果我们重新建房等规划时就能换平方，我父亲当时已经患脑溢血，借钱建了房子，村委答应等集体换房产证和房屋土地使用证时给我们一起换（因后来一直没换，所以一直沿用老门牌号）房产证一直使用老的（登记为我祖父的名字，在我们所看到的房产证一直是我祖父的名字，没有代管二字，为了体现房子是我父亲的，所以我祖父的子女一起到公证处做了公证同意房子归我父亲）2008年村里开始实行旧村改造，房子5000每平米，房子连院子共120平米。原房主的儿子开始找村里申请要回当年代管房屋，经协商后放弃（口头），2011年又请律师找我母亲了解情况打算要回代管权（我父亲已经去世）请问律师，当初的代管是否要代管人的继承人继承代管权（他们回来多次都没要求收回，现代管人不在了，没人提代管的事情）？现拆迁的房屋（我们重建的房屋）是否是代管的？