店面转让对方毁约我要退定金吗？

有个店面转让，当时签订转让协议，是对方起草的协议。店内所有东西样品装修归接受方所有，甲方以一个所有包干的价格转给接受方。给对方签订转让协议以后还给对方打啦定金的收据。当时收据上这样写的（今收到某某店面转让定金2万元，如不能跟续签退还定金）。现在对方因为品牌原因不能接受店内的样品，要我少钱，我不同意，后来没谈成要我退定金。我开始口头答应退，后来想下，我觉得没有必要退。
合同签订啦上面说让接受方有转让权，然后我们跟卖场签订的协议是禁止装让，可以内部装让。我有必要退还他的定金？