我家房子能要回来吗

父亲大概在2000年左右向我姑姑家借了2万块钱，后来父亲拿了3万块去还给我姑姑家的时候，她没要钱，想要我家的一套房子（这套房子是我父亲单位分的，在当时要是把房子退回给单位的话单位就退给你3万块钱。），我父亲没同意，后来钱也一直就没有还给她家，我姑姑就一直找我奶奶说想要我家的房子说他孩子结了婚也没有地方住，要是不给她房子她儿媳妇就跟她儿子离婚之类的话，后来在我奶奶的劝说下，我父亲为了不叫我奶奶生气，在2009年6月份的时候，就把房子过户给我哥哥了，可是他拿了房子以后却叫他媳妇的哥哥住了进去，但房产证上还是我哥哥的名字，现在这套房子要拆迁了，我父亲单位说如果不要这个房子的话，就是不回迁，直接把房子退回给单位的话，单位给退回20万（虽然房产证已经过户了，但单位上面登记的还是我父亲的名字，像水电费，电话费，取暖费还是从我父亲的工资里直接扣的），因为要拆迁了嘛，所以我想咨询下这套房子我家还能要回来吗？如果我哥哥选择回迁的话，还能在要回来吗？