今年8月我作为第三方与承租人签订了一份总价为142000元的药店转让协议，协议签订时在承租人一再口头保证租金会按原租赁合同履行的情况下，双方没有知会出租人并征求出租人同意。协议签订后我即支付了首付款122000元，之后我与承租人共同办理药品经营许可证的变更手续。10月25日，药监部门通知我要补充提供我与出租人的租赁合同，此时，出租人方知承租人在没有取得他同意的情况下私下将药店转让给第三方。现在出租人同意取消与承租人的租赁合同与我重新签订，但坚持要收取20000元顶手费并将月租金提高到5000元（原合同为月租2500元），我无法接受。眼下局面对我相当不利，我决定退出。但是承租方认定我违约，坚决不退回我的首付款。请问我能否从承租方拿回我已交付的122000吗？