关于该合同约定的违约金事宜

本人于2012年7月进入被诉人单位工作，任医师一职。于2012年12月1日，双方签订了事业单位聘用合同，合同期限是三年，其中合同中提到：有下列情形之一的，乙方（即本人）可以随时单方面解除本合同：其中包括一条：考入普通高等院校的；但合同中双方共同约定的其它违约责任条款是：乙方必须在甲方连续工作伍年以上，未满约定工作年限，不得以任何原因申请辞职、调出或长期请假离院，否则赔偿甲方违约金伍万元整，并按甲方其它有关规定执行。申请人于2014年1月参加研究生入学考试并通过，现欲辞职去读书，为此于2014年6月向被申请人提出辞职申请，被申请人以申请人未满约定工作年限，要求申请人赔偿其违约金伍万元整及培训费肆仟元，否则拒绝我的辞职申请并不发放本人档案及党组织关系等，但被申请人从未对我进行任何专项培训，我多次找被申请人协商，被申请人均要求我支付上述费用后才予以办理辞职手续，为避免影响我研究生入学，无奈之下只好先支付了上述费用后，解除了劳动合同。但被申请人上述行为违反了劳动法规定，为维护申请人的合法权益，特向贵会申请仲裁，要求被申请人返还解除合同时申请人支付的违约金伍万元整及培训费肆仟元。我去申请了劳动仲裁，可是他们说这属于经济纠纷，叫我直接去法院起诉，我去法院问了，法院的人告诉我：想把违约金拿回来很难。为什么呢？这条约定不是无效条款吗？