这种情况怎么办

2014年7月16日早上9点多，我爸（收废品）经过一人门口，问此人要不要去场地一起搬渔网（按照以往情况，会给予报酬150元），此人说可以。我爸就先去场地搬东西，后来此人也进来搬渔网，干了20分钟左右，此人表示身体好像吃不消，合伙人（我爸跟另外2个合伙人一起弄的废品站）就叫我爸把这人送回去，当时此人还意识清楚，可以独立走路（现场另外2个工人可以证明），我爸把这人送回家门口，叫他老婆下来接他，还随口骂他老婆（此人有长期喝白酒撒酒疯习惯）：你老公有喝酒，还骗我说没喝酒，可以做工。然后我爸就回场地继续干活。下午13时许，听说此人身体不行（我妈俩次在便利店碰到死者父亲，他父亲都表示跟我家没关系，叫我妈不要担心，现场很多人听到)，送县医院抢救，做了脑CT之后医生表示无力回天，叫他家人送到市医院检查，市医院的就诊记录显示可能病症原因（1、热射病2、急性胃溃疡）。7月18日凌晨3点此人死亡，当天07点开始，他家里人就开始来我家闹事，总计四次，说是因为我爸的原因导致死者死亡，叫我家里人赔钱，说是在现场摔伤，导致内脏破裂死亡（现场工人都作证说没有摔伤）。报警后，警方表示此为民事纠纷，不予立案。7月18日到7月21日，村委会多次调解（对方均不到场，只是开价要60万），没有调解结果，7月21日，死者家属（妇孺老人），共计9人，穿着丧服来我家里闹事，与我妈发生冲突
（拳打脚踢我妈），我妈当场晕倒，现在在医院就诊，我们也去派出所立案，并做了伤情鉴定（轻微伤）。我方建议他们走司法程序，法医鉴定死因后，该是我爸这方责任，我爸这方会进行赔偿，对方表示他目不识丁啥的，拒绝走法律途径，并一再冲击我家。这种情况该怎么办啊