租赁合同到期后，出租方不租了，但是承租方说违法了之前签的合同。

情况大概，我家在市区有个门面，是老房子，在05年发生火灾，被烧了，我们市不允许再建房子，就空在那里了1年左右，后来又个姓陈的店主，说想租，他可以走关系，帮忙重新搭个铁皮房，继续营业，然后签订了合同，条件是，
1除非是重新建房，赔偿他搭建铁硼的费用，
2，租赁期间，他可以转让，租金不得增加，我方租给他收一年7000元租金，他再租给第三方收3万一年，
现在是我方都租给他5年了，房租一直没涨，想自己建房或者开店，但是承租方一直凭借当时订的合同，说除非看到建房许可证，不然就一直这样租下去，当时签的合同，可能太死了，根本对我们限制太多，我父母都不认识字，还是请我小叔写的，没有经过法律认定，和律师的公证。
请问，这种情况我方是否可以通过法律要求终止合同，马上又要到交房租的时候了，不想再租给他了。