我是一名王者荣耀代打打手，我通过一个交流群认识了一个中介，他可以为我安排单子

我是一名王者荣耀代打打手，我通过一个交流群认识了一个中介，他可以为我安排单子，但是每个单子都需要向中介交押金。我在这个中介这里接下了单子A，并支付了押金，但是我在支付押金时未备注，中介要求我重新支付押金，并答应单子A打完后全部退回，我就再次支付了押金，支付完押金之后我才知道中介在没有经过我同意的情况下把单子A转给了别人，并且私自给我安排了单子B。我也没有说过我要打单子B，我向中介表示我不想打单子B，申请退回押金，但中介说不打单子B就不能退回押金，原因是如果我不打单子B，中介需要向客户支付违约金，以此为理由不退我押金。请问这笔违约金由我来支付合理吗？