可以不给培训机构违约金吗

本人正在找工作，基本上就是有面试就去。之前有个培训机构估计是在网上看见了我的简历就给我打了电话让我过去面试，然后我就去了。他们的培训模式是培训三个月然后安排就业，就业后再收取培训费，一共是22600元，前期不收任何费用。我当时看着还可以就签了协议，想着要是找不到工作就过来培训。过了两天后他们让我过去安排后续事宜。不过这时我前面的面试刚好已经过了，就想着不去培训了。这时培训机构的却告诉我协议已经签了，要想不参加培训就得交20%的违约金，要是有正当理由可以少交一点，但不能不交。我把协议重新看了一下，确实写着这么一条，当时没注意，不过当时有两份协议他们并没有给我一份。
       于是我就想问一下，我可以不交这笔违约金吗，反正培训我是不打算参加了，而且我没有给他们机构造成什么损失。如果我不交的话他们会起诉我或者什么其他的法律途径来找我要吗。