就业协议违约问题

我是应届毕业生，去年在学校招聘会签了一份就业协议，但由于某种原因不能去那个企业了，就业协议上写着三月后违约金为4000元。协议一共四份，企业留一份，学生留一份，学校留两份。但是现在学校的两份也都在我手里，也就是说我没有上交呢。听有的同学说可以不交违约金也没事，您也知道4000块对于刚毕业的学生来说也不是一个小数目，不知道有没有我同学说的这种可能，对自己又有什么影响？希望老师耐心帮助。谢谢。