人身伤害赔偿

我是一个住宅的门卫，负责看管一个院子内的车辆（不负责居民安全）。事发当天晚上9点左右，一个男子走入院内，在院内四处张望。我的亲戚A上前盘问。这名男子说要找人，但这个院子里并没有他要找的人。因为天冷于是请他进屋慢慢说（屋子是门卫室，同时也是我们的住宅）当时我们三个男子正在屋里喝酒，这名男子也喝了酒。几句话不到，这名男子动手打了我两拳，亲戚A拉架把我们推到外面。在外面的时候他又一次动手打了我。之后亲戚B也上前拉架，我动手将他打倒在地。然后我让亲戚A报警，但是这名男子上前夺走了手机扔在地上，随后他求饶说：“找错地方了，你们别报警，我走！” 事后他报了警，说我们三个人打他，（实话实说，确实是只有我打了）警察将我带走并赔偿了5000元钱。警察没有给我发票。只是在一个民事调解协议书上签字就放我回来。  赔偿后第三天，对方家属又来找我，说当时同意调解是因为没有看清楚X光的片子，之后拿到别的医院，发现肋骨折了2根。 请问我应该怎么办？事件责任在我吗？如果真的肋骨折了我需要承担什么刑事责任？