是否构成伤害，可以拒绝赔偿吗？

在单位一聋哑同事（赵），莫名的袭击单位另一同事（于），（赵）手拿钢板尺袭击于时将（于）的手划伤，（于）仔躲避时将找推倒，（赵）左臂先着地，起来后右手托着左胳膊准备继续袭击（于），我跑过去挡在前面，阻止他冲向（于），他情绪失控，我几乎阻止不了，我好容易强行将他多次推开，他多次未果，走了，住进了医院，经医院诊断为左臂肘关节骨折，他家人报案说我两人打他，并要赔偿40万。
请问这种情况我两人是否构成伤害？有无刑事责任？是否需要赔偿？
   注：赵在做笔录时承认先袭击于，并且说“我在拉架时他先打了我一拳，然后我打了他两拳，并踹了他屁股一脚."