内情复杂的家族房产纠纷

情况（比较曲折复杂）： 开始是表姐结婚，姑妈家闹我父亲，我父亲没办法下让表姐住在自己房产下，我们搬到奶奶家，后来我们那边搬迁但奶奶那边搬不到，太远照顾起来不方便，所以奶奶那边就和一家不想换的人家换了名额也要了一套，这样选了两套同一单元里的房子。之后口头商议让表姐住在奶奶房子里但要照顾奶奶，表姐也同意了，后来搬楼后表姐又不照顾奶奶，也不好赶她走，就这样继续住着了，后来表姐有了孩子孩子大了要上学但没房产上不了附近学校，后来她和我父亲单方面商量的，但是口头商议以后要是有新房子搬的话在改回来但是没有书面协议，就把房产改到了表姐名下，当时我父亲有三个姐姐，表姐和我父亲把奶奶名下房子过给表姐时我们家除了表姐夫妻俩和我父亲其他人都不知道这个事，奶奶年纪大了这些事情也不清楚，特别是过户的时候表姐夫妻俩只给了当时这个房子由于奶奶工龄抵消部分后我们家出的1w多的那个钱。后来表姐家里回家途中发生车祸，只有表姐夫生还，表姐和外甥女都遇难了，后来表姐夫不想呆在这伤心的地方也没留下联系方式就走了，之后奶奶就一直在住，表姐的父亲也一直没什么事，前年奶奶也去世了。现在房产证在我们家，表姐的父亲我姑父在奶奶去世后就经常来闹说那是她女儿的房子应该是他的，让把房产证给他。
我知道在法律上房产证是谁的名字按继承法什么的来分没有我们这边什么事情，但我想问的是在上述情况下如果我们想收回房子有没有可能？该如何办比较好？