开车出了事故，交警任定对方主要责任。

开车出了事故，交警认定对方主要责任。对方车上的人有个孕妇，去医院检查了，没受伤。现在已经生了，也都健康。当初对方在交通事故事现殇强行要1万块钱做为孕妇医药费（押金），交警说把钱放在交警那里，对方不肯一定强押交到他们手里，对方仗着人多不给钱他们把我围起来不让我上车，还动手推我，还想打我，没办法，只能把钱给他们。警察来了他们也不听，还说人没事就退回钱。我有对方写的一万块钱收条。可现在调解了两次，对方就是不退钱。我怎么办？怎么做才能要回我的钱？对方目的就是想扣押我那一万块钱在事故调解中做出让步。