单位里与同事发生冲突，我先推了对方，然后双方互相动了几下手，但算不上打架，等于还没开始打就被同事拉开了，之后各自回座位继续工作.四五个小时候对方说手肿了不能工作，晚上他去了医院看病，说是骨折了。我问他怎么会的，他说是他想打我的时候没打到，打的不巧骨折了。因为当时冲突很小，没有证人证明是他自己弄伤的，现在对方看完病要我赔偿各种损失，我该怎么办？当时没有报警，也没有开具验伤单。