身份证给对方了，怕他用我的身份证办卡套现，我该怎么办？

9月6日那天开车与对方车刮蹭，经过保险，已经调解完了，他给我4s店的发票，我就可以给他赔偿，可迟迟推倒27日才给我，我怕会取不了钱于是他拿走了我的身份证，然后保险说他开的不是4s店的发票不能用，关键我跟对方反映以后他说要等一个月以后才能开出4s票，我想要回我的身份证，可他吃吃不给我回信，我怕他拿我身份证，贷款，办信用卡套现，我想请问我现在应该怎么办，才会防止这种事情发生。