辞职我要付多大责任

大学毕业那年我跟学校签订了“云南省普通大中专学校毕业生就业协议书”，毕业我也就如期到学校报到，结果开学了学校才说要下乡支教一年（协议上没注明，签时也没说），好就去了，回来却一直教高一，也不给个说法，两年多了，我现在打算辞职，但有一些问题需要咨询哈，毕竟辞职时我觉得面对学校和教育局我是弱势群体。
    当年签协议时，备注是这么要求的：
        1、服务期限最低为五年；
        2、服务期限不足五年的，扣回财政所发的一切福利待遇和单位培训经费，服务期内按本县最低临时工工资标准计发；并惩违约金人民币伍仟元整。
    那么我提出辞职时，学校和教育局是不会跟我协商的，我是不是就必须按照协议备注中的赔偿违约金、两种待遇差值以及培训经费？
    请给我一些指导意见，要那么赔，真是伤不起（其一不知道赔多少，其二我觉得我这几年下来搭上青春不算还要欠钱。），谢谢！