这算是讹诈吗

我是给我爸打工的，我跟我家两名工人外出干活，脚手架意外倒塌造成一名工人脚骨断裂，当时我立即送这名工人去了医院，打了几天的点滴，后面上了石膏，我爸跟那名工人父母协商给他们2个月工资8000块钱，后来住院了一段时间那名工人出院回家自己治疗去了，每隔几天他父母就来取1000块钱说付医疗费，我爸前前后后付了十几次，后来我爸不再给他们钱，他父母带人来威胁我家人，还企图打人，没过几天就将我们家告上了法庭说我操作脚手架不当要求赔偿4万多块钱，我想问下这件事情是我们家全部的责任吗？我爸前后给他父母的钱都是当面给的，也没什么证据。