老人自愿赠与的房子能收回吗？

老人4个儿子，一直在3儿子处居住，去年因为他要找所谓的保姆，自愿把房子过户给3儿子，但没有确定它的以后的善后事。也就是说4个儿子的处所都有他居住的权利。但是保姆找来后，经4个儿子和老人商议，并签订协议每人每年给老人5000元，而且他为不打搅4个儿子的生活，自愿出去租房住的，现在他以各种理由还要回3儿子处居住，并且要将3儿子的房子收回，（3儿子该给他的5000元也已经支付，以前对老人都特别好，在所谓的保姆的怂恿下，老人简直都不讲道理了）。扬言要收回房子后赠与那保姆，请问他能收回房子吗？