因房屋需重建，要跟承租人解除合同

律师您好！之前因我父亲跟承租人签订了一份租赁合同，因为是承租人拟定的合同上条款明显不公平，让我们不能过问房屋转租，还有房屋改造。而且上面也没有明确用途。在合同期间，承租人对我们的房子私自改造扩建了并且增加了商业用途，还拆除了我们原来的大门。现在又因周边在重建房屋影响了我们的房子，已经出现裂缝及漏水情况了。并且8月份后面的房子也会重建，也会严重影响房屋。我们为了安全问题考虑也要重建房屋，要求解除跟承租人的合同，可是承租人要我们赔偿高额装修费还要求我们房子建好后继续给他用。我们也找人去协商了可是承租人不讲理，就是要我们赔偿高额费用还要继续租这房屋，我们不是不完全赔付，只是金额太高。而且承租人也有过错，将我们的门给私自拆除。现在我们该怎么办，才能完全终止跟承租人的合同。