关于子女轮流赡养的地点问题

老人有三个子女，老伴10多年前去世了。在老伴活着时把房子赠与给了唯一的孙子，即老儿子的儿子。当时买房的钱也是老儿子家的，不到1万元。作为对大儿子的补偿，先后两次给了大儿子1万多元钱。这么多年老人们的日常起居等主要是老儿子在照顾（现在都不承认了），但老人的工资卡在女儿手里，老人每月几千块钱的工资。现在房子平改换了楼房建筑面积50平米，房产升值了，大概市值30万，另两个子女就觉得亏了，鼓动老人要回房子，老人就要三个子女轮流照顾，不让老儿子一个照顾。而另两个子女也要到老儿子家来照顾老人，请问照顾老人的居住场所是不是必须到各个子女家呢？该谁就到谁家照顾还是都在老儿子家来照顾？