我该不该退转让费

10天前，有房东在场，房东已决定租给小夏房子，并且房东当场收了小夏1万元押金准备第二天签合同的情况下，当时我将店面转让给小夏并收了小夏4万元转让费而且给他写了收条。我当场还给房东写了将优先承租权转给小夏的字据。因为我还有20天房租合同才到期，所以我目前还未腾出店面交给小夏。可是今天小夏以他与房东在协商房子装修方式上闹矛盾，不想租此房为由要我退回转让费，请问小夏有没有这个权利，我该不该退？现在房东又来找我说，要租房以后不准转让，而且房租提到比附近租户都高15%的程度，因为当初房子是我花钱装修的，所以房东这样做，明摆是要逼我走，我该怎么办。