农村建房，工人意外摔死

我家在农村建房，房屋楼层已建到第四层是包给专门由一个工头带领十几二十人组成的团队以2500元200平方楼层面积承包出去的（双方没签承包工协仪，），前两天浇水泥刚完成后，其中一个工人在第四层楼面上拆搅拌机的上升轨道，不小心从搅拌机的上升轨道上采空掉下来经过抢救无效死亡，现对方要我（房东）和包工头各拿十万做为安葬费，包工头已拿出十万，我方经过派出所等有关部门协商出八万做为安葬费对方同意，现我和包工头加起来已出十八万，钱一拿出去对方还是不安葬死着，还叫了20几个人到我家来闹（以报警处理好），说要在给死着家属更多的钱，可我想等下一次费用在上法庭结案后在给对方，请问我该怎么做呢？不可能每次来我家闹次次都报警，这样也会影响同村人，对方不起诉我，闹个不停，请问我能反过来起诉对方吗？或是有更好的方法呢？