关于三方协议违约金问题

您好，我是今年毕业的应届毕业生，寒假前与一家单位签了三方协议，三方协议里明确规定违约要支付违约金5000元，后来又有了新的单位，不想去那个单位了，又不想支付违约金，那个单位的人事说如果新的单位不需要三方协议的话，可以不解除三方协议，那样就不用支付违约金，我就没有解约，而且当时学校的四份三方协议都放在那个单位了，我还没有领回来，后来说不去了，也就没好意思去领。现在要办理人才托管了才知道三方协议的重要性。当时没有入职，在电话通知我后我思考了几天就告诉他们我不去了。现在要办理人才代理，没有三方协议不能办理，我想把三方协议要回来，担心上一家单位会为难我让我赔付违约金。请问：我这种情况，可以不知福违约金就解约吧三方协议拿回来吗？