打架

前几天我在家小区发廊呆着，一会进来了一个人好像喝酒了，他进屋就骂人，当时屋里有4个人，这人骂完就走了，其中有个人是老板的朋友，那个喝酒喝多的人走出发廊，这时老板的朋友说了句这人精神不好啊？我当时在门口站着，那个人以为是我说的就破口大骂，我是个一个眼睛有残疾的人，他骂我是个“瞎逼”，还骂了不少难听的话，我就和他打起来了，我把他眼睛框给打青了他把我鼻子也打肿了，当时是他打110了，我俩到派出所后警察给我们调解，回来后我爱人和我一个同事，请他吃的，在吃饭中，我给他认了错，对了在厮打中我的价值2千多手表丢了，还有我新买的汗衫价值298元也被他给撕破，再吃饭中他说也不在追究什么了，当天我爱人和同事给他送回家，第2天那人的老婆来我家和我爱人说要找人打我还说看到我就骂我，后来我看到她，她问我问什么打他老公我把事情经过和她说了一遍，她说打完人就没事啊，我问她什么意思，我和她说我都和你老公说好了都不追究，她说不行，我说那怎么办，她就是想和我要钱，我没给她，他老公又来我家说要去看病，我说那你就去吧，下午他去公安医院做鉴定花了1千2元医药费，回来后他找我爱人要钱我爱人没给，他们又去派出所闹，以上就是这个事情经过，我想问问，我要是不给他钱能怎么处理这事，如果我要是给他医药费，我的损失由谁来承担？