工伤赔偿问题

我是一家五金加工厂老板，在上个月我厂里工人因为违规操作导致冲压机砸伤，除拇指外其他四指均受伤，我及时带他去医院做了10个多小时的手术，手术费及医药费等共1万5000多元。现食指与无名指接活，小指保住两节，中指保住一节半。双方协商后达成一次性赔付协议，除我先期支付的各种费用外，另外一次性赔付他4万8千元。协议达成后，不予追究任何责任。当时双方都按压签字了。但是昨天这个工人又来厂里，要求我继续赔偿他。请问律师，我有权拒绝吗。