人生伤害

你好 本人有一点货需要搬运 与几个人口头协商好420元搬运费，在搬运过程中其中一位摔跤了 手碗处关节脱位 当时我们及时送医院 伤者要求全身检查以及费用我们支付了1900元。过后也买礼物去看了，医生一分钟就回位了 医生说的问题不大不需要住院太久，回家休养就行。目前已经有7天了 医生说过没必要住院很久最多费用2-4千元 回去休养 但是对方天天叫人来闹事 威胁 恐吓 不让我们门面开门，警察在现场都是这样 我们答复是你自己先垫付我们该赔多少我们不赖。对方要求我们先出点钱还要住院后面再慢慢协商不能做工的其他的相关费用。
但是我们不知道自己该付什么样的责任。我们也愿意同他到法院处理 对方的意思算起来需要我赔付的相当多 具体没有说多少 气势很大，天天叫人过来闹事不准门面营业，我有监控作证，警察来了也没说什么 。叫我们协商 去法院。
请问这样的事情，我该怎么办  第一 对方闹事 威胁 第二 我该付多少责任。是对方起诉还是我起诉。
希望能解答。感谢