关于一起军用土地租赁合同纠纷问题

2006年我们部队有一块军用土地3000平米地租给当地一个乡镇企业，租期20年，租金10万元一次交清。合同约定，地上由其建冷饮厂，土地归部队所有，到期其自行拆除。同时约定，军队上级有收回土地的特殊要求时，中止合同，具体事宜商定。现在军队有特殊要求文件，要收回土地，其索要赔偿600万，主要是有一个800吨冷库和一些建筑。
据了解其本人，每年其利润在一两百万。我们感到，20年我们才收其租金10万元，并约定上级有要求要中止合同，因为当时就预见到未来上级可能对土地有所要求，租金才10万而且还预见到未来的风险，不应赔偿这么多甚至除余租金不应赔偿。从历史看，在军队土地建设项目均要经过审批，否则应是违建。
另：合同上单位有盖章，时任领导有签字。