意外事故

律师你好，我跟老公都是丰城人，在丰城开了一家粮食加工厂。早几天在加工厂工作的（我老公的外甥）溺水身亡。因为他姐姐早10多年前去世，留下三个孩子，其中老大患有癫痫而且有智障，到过其他地方打工做事人家都不要，在他姐夫的极力要求下，到我们厂里做事。我们当时也是看他们可怜，能尽最大的能力照顾他，答应了他姐夫的请求（照样要付工资的）。这10来年都一直还好，虽然有时候一天发病几次，但休息一下也都没事了。可就在半个月前，因效益不好厂里放假，其他员工都回家了，就是他外甥不愿意回家就留在厂里（不是我们要求他留下来的），他自己也是一个成年人了，虽然有轻微智障但是我们也不可能随时随地把他留在我们的视线范围内。早几天他自己拿着鱼网到离厂子1公里之外去去放鱼，结果突发癫痫溺水身亡。我们已经付了近两万丧葬费，可他父亲居然还要我们赔偿。在我们看来，对于这件事情根本就没有责任，付丧葬费是看在毕竟是自己的外甥的情份上，要我们赔偿是说不过去的。就这件事我想咨询一下律师，我们到底存不存在赔偿的的问题