祖父母文革中被抢占的公租房（原私房、上交给国家）可以要求还给吗？

上海市镇宁路465弄一处三层楼房，原我从小和祖父母一起住的地方，文革被红卫兵造反抢去二、三层，文革后将三楼说是借给我祖父母用，二楼至今仍给房管所（现叫新华什么物业公司）占着作他们的员工宿舍，请教法律专家，文革中这一打、砸、抢已被规定为非法，我家被抢去的一些金银首饰和其它物品均已基本作价返还，但我们的房子二、三楼至今还没归还，我们应向哪个政府部门要求归还我们房子的居住权？
    祖父生前为爱国民主人士，江苏南通市政协委员，60年代政府有困难，他将房子产权无偿奉送给国家，仅享受政府承诺的永久居住权，现他们和我父母均已仙逝，临终前他们均在心中纠结这房子的事，现请法律专家帮我讨个公道，能否请有关部门归还文革中抢去被占的房子，以慰我先辈们的在天之灵。