特岗巨额违约金

本人衡阳人，09年招录为郴州市宜章县特岗教师，因为当时衡阳市没有招录，到2010年衡阳市招录时，我已经是特岗老师，不符合报考条件，于是留在了宜章，到2011年10月，由于家庭原因，父亲生病住院，需要照顾，另外考虑自己年岁已大，还没有找到合适对象，为了不耽误终身大事及为了照顾家人，不得不辞职。宜章教育局在辞职合同上签了同意后，就要求本人支付违约金，拿档案的前提条件是赔付违约金。后与教育局领导协商，但根本无法协商，就是要人赔，毫无协商的余地，他们这样说的：要么你不要走，要么你赔违约金。最终没有办法，东拼西借，赔了15000元。
县财政局教科文股是这样计算的。我们11年年收入这样算：月收入1476，养老、医疗、住房公积金每月179，每学期绩效2500，这样算起年收入：1476*12+179*12+2500*2+779=25639.再除以12月，乘以11（我9月份在工作，从2011年10月1日到2012年8月21日还剩11个月）就是25639/12*11=23502.4166再乘以百分之八十。就是23502.4166*80%=18801.9333，
总算式是这样的——（1476*12+179*12+2500*2+779）/12*11*0.8=18801.9333，要我赔付18800多，在我的再三乞求下，最终赔付了15000元。
其实我们09年刚去的时候每月收入只有1196元。绩效工资只有1500一学期，但合同是以当年工资为标准。
我听劳动仲裁部门说的，养老、医疗、住房公积金是不能算作工资的。但教科文股全部算了进去，最后要求我们到财政局的“治理小金库办公室”（他们自称监督股）领到一张罚单，要求到中国银行交付。
目前为止，已经有六七位特岗因为家庭各种原因（都是外县的，外市的，外省的）要求拿走档案的被迫赔付了违约金，有的特岗只服务了一年，赔付了三万多，等于白干一年还要自己倒贴一万多。我们都觉得违约金数额太高，不符合《劳动合同法》第二十二条。但又无法协商。
觉得特岗为什么就这么“特”别呢？
谢谢。