在交通事故中，我负主要责任，在医对方时，钱给5万元，可只用2万多元，剩余的钱对方不还给我怎么办？

在交通事故中，把对方撞伤，骨折了，交警判定我负主要责任，他负次要责任，按三七负责，可对方骗我说要5万元才能医好，我一下子给了他5万，只用去2万多元（有发票），还剩2元多元，可剩余的钱他就是不还给我，就连他住院的发票都不给我。现在刚出院，并且是悄悄出的院，没有让我知道，我后来知道后打电话给他，他还不理我，扬言要打官司，他要钱我给了，他还打什么官司，告我什么？我还说了，把现在产生的发票拿给我去保险公司报销了，把剩余的钱还给我，后面产生的药费该多少，我照常拿。我想咨询一下，对方发票和剩余的钱都不给我该怎么办，剩余2万多元该不该还给我？我可不可以去告他骗钱？