交了押金租门面，不想租了，可以要求退回押金吗？

事情大概是这样的。我看中一个转让的门面。谈好后交了5000押金。但是后面在同一条街做生意的朋友店面也转让，以及我后面了解的情况，他那里的转让费要贵了，不值那个价。后面协商他也不肯少转让费。所以我不想租了，但是押金他不退我，我有权要求他退嘛。（给他的钱，他给打了个条，没签合同。）   可以退的话，我应该 采取什么手段让他退。