三人合伙承包建房，一人身亡，责任人在谁

我爸和两个人合伙承包的农村建造房屋的工程，就是直接从家主那边接的活，中间没有什么其他的负责人，也没有什么施工许可。事发时间是7月19号的早上，那天几个人刚去干活，因为房屋已经建造好了，需要外粉的，就是抹房子外面的墙皮的，所以要搭架板的，家里干活也没有外面那些大工程建设的那么正规，没有什么安全网等保护措施。他是一个人往架子上穿架板的时候自己失足从二楼的楼梯平台的窗台上面摔下去的，没送到医院就死亡了。而且当时他穿鞋也是脚后跟没有完全穿进鞋子里面。事发后的一天，我们家人和另一个合伙的人就说，毕竟是一起干活的，而且平时的关系也不错，咱们就每人出点钱，先给点安葬费，当天晚上就过去给送了3万块钱，但是死者那家人不要，而且放出话来说不拿钱死者就不下地安葬。对方现在的心里就认为这个事故的主要责任在我们合伙的另外的两方，来让我们进行赔偿。我就想问问这是不是我们的责任，我们有多大的责任，这与施工家的家主有没有关系？