我与用人单位的金钱纠纷

各位律师好，现在我有个问题想咨询。我在市劳动局下属一个技校当过两年的临时工，今年辞职。在走时我带走了学校以“学生公务押金”为名的4000元钱。现在单位让我补回去，但是单位在我工作的两年期间内没有跟我签署劳动合同，也没有给缴纳养老保险和医疗保险等。我是否能用这4000元钱补做我的养老保险？如果不把钱交给学校会有什么样的后果？  
因为自己并不是想贪污这部分钱，只是想讨回一些公道。请律师们给我一下解答和知道意见，这这里我谢谢你们了。