店面转让问题

我有一间自己经营多年的店铺因为今年身体不允许转让，经过多次协商承租人以四万元的转让费接手了我还有半年房租和押金的店铺，按照协议我处理掉自己的生意以后搬离了店铺，等他装修差不多的时候打电话给我说店铺是违章建筑不能办执照为由让我把转让费退给他，我们那条街像那种店铺有很多家都是一直在经营做小生意，有的一直没执照，有的挂靠的别的地址执照，我的上家做生意的也是十几年没执照一直做下来了。他租店铺的时候也没说自己要办执照，还带亲戚朋友看过几次了，还要求见房东也给他们见面谈了的，也没说办执照的事，到现在弄到一半了不知道什么原因，就打电话给我抓住不能办执照的理由让我退钱给他。他给我造成的损失怎么办，他还要我退钱给他。