拆迁四年后，拆迁方以我们不够廉租房资格毁约，我该怎么办？

四年前，我住在原单位公租房里，因国道公路扩宽，与道路扩建指挥部签订拆迁安置合同后拆掉了。
    合约的主要内容是拆迁方同意安置初定 X X X 地二期二室一厅廉租房一套，由我方付房租费居住。过渡期间由拆迁方按我方原居住面积的2元/平方米补偿。
    在此期间我们无数次的找拆迁方落实安置事宜无果，时隔四年，我孩子已大学毕业。现在拆迁方以我们不够廉租房资格为由毁约，我该怎么办？
    说明一下，当时被拆迁的楼住着好几户人间，但其中有三户是特困户，所以被特殊地签订了廉租房资格。其它几户不久就安置到了还建房内。