讨要保证金

经朋友介绍一家劳务公司欲重换钢筋承包商，我与该公司项目经理谈过后交了一万块的保证金，5天后，我的工人到位，休整一天后第二天准备上工，未上工下午该公司老板与我及工人代表谈话，要求我们必须再增加工人，还让制作类的工人暂缓上工，由于夏收将近，再找工人困难很大，而且我们工人表示他们完全可以保证工程进度，我们工人也承诺如果因人员不足廷误工期愿承担公司损失，但老板表示达不到人数不能上工，而且制作类工人也不愿意无所事事的待着，为此工人不愿意第二天就回家了。开始谈时，项目标经理并未作此要求，。（在此期间该公司原先的钢筋承包商一直没有停工直到现在）工人走后我向公司提出退回保证金，公司不退，后来又只答应退2000块，为此我想咨询一下，能否要回我的保证金。