交通事故后的纠纷

去年11月份，我爸中午12点左右喝了一瓶啤酒，下午4点多在南海环海路的一个红绿灯处发生一车祸，对方闯红灯，但是没有监控录像，对方是60岁的老头（鲜族人）肋骨骨折，在威海骨科医院住院并接受治疗，期间我爸给他送去4万多的医疗费用，钱是直接给对方家属的，每次去看望都是带着海鲜和买一些礼品过去看望；出院后对方要求我爸给他5万元就当私了，对方的车也是我爸掏钱修理的用了1万左右；并且警告我爸，如果不给钱就会找社会上的人来教训我爸，他来我家要钱，我妈心脏不好，家里也没那么多钱，对方就说家里有多少就拿多少，如果保险公司的钱下来了就将今天拿的钱还给我爸，我爸同意了，就让村里的会计当证明人，并立了字据，一共拿去1万3。
现在保险的钱他已经拿到了，现在和对方要回当初拿的1万3千块，对方不给，并且说他身体应为当初的车祸，还没治好，还得去住院，要求我爸在拿钱，他要去看病。
请问律师，像对方这种情况，我们怎么维护自己的权利。