交通事故中被人打伤，该怎么办？

我爸在小区投递报纸，突然在横巷哭喊的三岁小孩冲出来，同我爸所骑的摩托车相撞。小孩的肩锁骨骨折，同时我爸却被小孩的爷爷打的三条肋骨骨折。小孩家属给我们一万和解协议，并随后与他方签了调解协议书。后来他方的小孩住院，一直由我方付一万二千块给小孩治疗。虽说他方给了我方一万医药费，但后来为了给他方小孩治疗就已把此钱还给他方。而且在之后他方把我爸被他方软禁，要挟拿钱来赔偿才可以放人。我爸被软禁了五个小时。随后的日子，他方打电话来威胁说：“要赔偿他们十五万，不然杀了我们。”这些之类的话。我们没有那么多钱，不想找他们的话做，究竟要怎样解决这件事？