我有一个门面房出租给别人签订了两年合同，合同期间如果他不干了像我支付两万违约金（押金也是两万）

我有一个门面房出租给别人签订了两年合同，合同期间如果他不干了像我支付两万违约金（押金也是两万），我违约的话支付他两万，合同期间不涨房租。今年是第二年夏天的时候给他涨了一万。他同意了，经过半年又该交房租了。他说生意不好，不想干了，想叫我给他退押金2万。我不想退他。因为他合同还没到期，而且该过年了。退给他我损失太大，他说我违约了，给他涨房租了，之前我给他涨房租的时候给他说过，如果不行的话解约。他也没说。过了几天直接给我银行卡里把房租和涨的那一万打给了我。谁知过了半年他又不干了。我是希望他干的。他说我去过不退他押金就告我违约。我觉得他是不是也违约了。合同清清楚楚说的有。合同没到期乙方无法经营的不退押金。也就是2万违约金。他是不是也违约了。不知道这个情况如果告我最后结果大概会是什么。谢谢