要回我应得的住房

我是某部队的一名职工，由于2004年6月我的条件和工龄已经符合当时部队的分房标准。所以经我个人申请，部队常委会研究决定，将当时坐落在朝阳市双塔区文化路一单元四楼34——11号的一套部队公寓房。分给我居住，2004年10月时任部队主任：张主任亲口告诉我说”要我到行政副主任宋XX那里去领取住房钥匙，所以我就找到宋XX，问他所要住房钥匙时，他说你要是不等着搬家的话，是否能将此房暂借他岳母住两三年《原因是他分部分的房面积小点和岳母同住不方便》处于情面又是我的上级领导不好拒绝所以我就同意了，过了一年因部队简编他也随之转业到地方锦州市水务局工作，2007年5月24日我打电话问他啥时候能把我的房子腾出来时，他借口在锦州买房准备装修一拖就是2年，以后我和我家属多次电话他以种种理由就是不给我腾房。请问：律师我已经做到了仁至义尽，作为领导他这样无理的霸占一个职工应住房，这些年，我应该怎么办·谢谢！