这个问题该怎么办？

老人生有三个子女，均已成家立业，各有住处。在房改的时候老人提出自己的房改房由小儿子出钱购买与他们一起居住，一来可以帮小儿子照顾子女，二来尽抚养老人的责任。并签订了家庭协议由小儿子负主要责任抚养老人，另外二个子女负次要责任，同时要求另外二个子女放弃对该房产的继承权。另外二个子女同意并签了协议。多年来老人一直帮小儿子照顾子女直到成年。在此其间另外二个子女也经常回去看望老人，过年过节也给些钱老人花，在老人生病住院其间大家都能互相配合照顾好老人。而小儿子在这十多年来和老人居住的时间加起来不超过二年，以后就一直没有和老人一起居住了。老人的房子共三房二厅，老人睡一间房，其余二间：一间是小儿子的睡房，（小儿子没有在那里睡后就变成睡房加仓库），另外一间是小儿子的麻将房，现在小儿子一直占着这二间房，又不与老人一起居住，现在老人年纪大了，需要人来照顾，小儿子现在却提出：当时签订的家庭协议不受法律保护，要求另外二个子女接老人回去抚养。另外二个子女的住房小根本没有办法接老人回去住。想搬回老人的住房居住又没有空房，请问该怎么办？