三方协议纠纷

我是今年七月份毕业的硕士，和单位签了三方，三方上除了违约金什么都没填，应聘时和邮件来往中单位说工作地点是青岛城区，但报到后分配到城阳区的下属单位，城阳区的下属单位又把我分配到棘洪滩的单位。我无法接受此安排，因此报到后（单位，城阳单位，棘洪滩单位我都报到了）没签劳动合同，和城阳区的下属单位打电话提出辞职，城阳区的下属单位向单位请示后同意我离职，我和城阳的单位领导有电话录音。一个月后我找到了新的单位，改派需要原单位退函，我就跟单位打电话要退函，单位要我支付三方协议上的5000元违约金才给我开退函，说我没去报到，棘洪滩也是城区，是我主动放弃工作，如果开退函就是我单方面提出三方解约，需要按照三方协议走流程。我说我已经和城阳单位协商好了，城阳单位也向单位请示过，但单位坚持我只是和城阳单位协商，没和单位协商，说我如果签劳动合同也是跟城阳单位签，让我找城阳单位开退函。但我报到证上的单位名称并不是城阳单位的名称，即使城阳单位开了退函也不能改派，更何况城阳单位根本不会给我开退函。请问这种情况我该怎么办？谢谢！