您好，我是一名农民工的女儿。我爸爸再贵市兴山县峡口镇峡口隧道打工，4月6日开工时，因下雨路滑，开车掉入山沟，身受重伤，被送往兴山人民医院抢救，经诊断脸部腿部十多处粉碎性骨折，诊断明显分离移位，医院建议转院治疗，工队隐瞒病情，导致我爸病情恶化——面瘫，上下牙齿不能合拢，吃饭困难。因我姐强烈要求去宜昌市人民医院就诊，专家指出，因病情拖延时间太长，须上省级以上医院治疗，工队以研究为名，将他们二人扔在宜昌市一小旅馆内。后来我的家人赶到宜昌市，和我爸爸一起到工队去，希望得到应有的治疗。在现场调解时，负责人曾华人给好多工人发放棍棒，打了我的家人，情急之中我的家人被迫防卫，也打了工地的工人。后警察赶到却将我的家人关入派出所，至今不予放出，后经兴山县政府、公安局调节，愿放我的家人和赔偿部分医疗费用，并签下协议，因爸爸是农民未看协议内容，第二天未放我的家人，只给了部分医疗费用。然后我的家人去找当时调解的政府工作人员和公安干警，但他们却不予理睬，相互推卸责任。我们该怎么办？