事业单位三方协议违约问题

我在1月份的时候参加了A市卫生系统的招聘考试，签了一家医院，有编制，当时由于时间紧急没有多想就签了三方协议。三方协议的补充协议里关于违约责任是这样写的：如果一方提出违约，须经另一方同意，并支付违约金一万元整。
后来家里的卫生系统考试我也考上了，我想回家，但是A市不让违约，他们不同意，这个须经另一方同意的前提条件就没法满足。已经沟通很多次了，A市卫生局态度很坚决，就是不放人，请问我现在应该怎么办，我还是想回家的，谢谢。