爷爷死了，儿子不孝，房产能直接给孙子吗

爷爷30多岁就有残疾和老婆离婚。生有一儿子还有女儿。儿子走了十几二十年考无音信，把孙子生下来4-6岁左右就消失了，一直以来都是爷爷带大的孙子。父亲在孙子16岁的时候有回来过，因为爷爷出车祸医院出病危通知书需要签署才回来的。处理完车祸事务和赔偿问题后就没有回来过了，有回来也是断断续续，最多一两次。今年孙子28岁了和爷爷相依为命。爷爷的女儿是轻微智障的，爷爷一直都不认她，这么多年女儿也没有照顾过爷爷。现在爷爷死了，一直都是打算把房产孙子的，但是没有立遗嘱。现在儿子女儿都回来抢房子。孙子能有什么办法把房子要回来吗？最重要的是老人生前一直都很不希望把房产给儿子和女儿。