转让合同纠纷

门面房转让后下家反悔，要我退还转让费用。此门面房是我接手经营的，上一家转给我的时候也收了我转让费（其实就是经营权，并不是房屋所有权） 。现在不想做了，转给了下一家。下家把钱交给了我，我带他去跟现在的总体承租人（非房东本人，而是承租人，一共一大间房，但由于承租人使用不完，故隔开了一小间再次对外租赁）签订了合同。但是过了几天不知道出于什么原因，下家说不想做了，说我收转让费是不合理不合法的，提出要求退还转让费用和租金，并且说如果不退还他会告我诈骗。他现在抠字眼，说转让这个事法律上规定的是转让房屋所有权，但我不是房主，所以收他转让费是不合法的。但我理解的转让是经营权，而且我还转给下家了一些东西，房屋内部的装修和我所经营的披萨配方。但遗憾的是，当初我跟他写资金收条的时候只写了“现收XXX转让费XX元，剩余租金XX元”，并没有详细注明所转让的除了经营权还有物品，装修门头和披萨配方。但所幸的是我现在可以让承租人给我开门，进去拍照留证我给他留下的那些东西和装修门头。他当初问我要的披萨配方的时候给我留了他的一个邮箱，我给他电子邮件发过去的，我的收件箱里也有存根可以查到。现在想咨询下，他能否告我合同诈骗，会是什么样的结果，麻烦律师了，谢谢。