我与公司签订的合同是年薪定数额形式的。后来公司实行安全风险抵押金制

我与公司签订的合同是年薪定数额形式的。后来公司实行安全风险抵押金制，缴纳了12000元安全风险抵押金本金，年底未发生安全事故则两倍返还。今年风险抵押金返还后，最近公司又说我签的合同是工资定额的，不参与公司其他的工资调整，安全风险抵押金两倍返还部分要退还给公司。这样合理吗？
公司称是，财务审计，说安全风险抵押金是工资总额的一部分，我的固定年薪中应包含该部分费用，我的劳动合同中确实写明不再参与公司的其他工资调整。所以，公司以此为由，对我的工资进行核算，要求退还这部分安全风险抵押金。如果说，我不需要退还，有法律依据吗？我不清楚这个，没有根由与公司谈判交涉。