交通事故转成打架，对方先动的手，他伤的也比我们重，该怎么解决

我们骑的是摩托车，被大车憋了一下，刮到了一个停在十字路口等妻子买菜的轿车，报警对方不让，报保险对方也不同意，问他要多少钱，他也不说，要走当然也不让，然后就发生了争执，对方先动手打人，我们是2个人，他自己一个人，我们只有其中一个打了他一拳，另一个没动手，路边好心人报的警，我们俩是外地来打工的，他是本地人，对方鼻骨软骨骨折，额头缝了4针，我们只是有些淤痕，都没住院，​然后向我们要2万块钱，已经给了3000元，而且还要等定残，说他毁容了，要等什么报告……过了半个月，当地的警察说是我们的责任，对方没什么责任，他相信是我们先动的手，因为对方伤的比我们重，要是我们不给他要的那些钱的话就拘我们，还罚钱。我就想知道，这算不算自卫，为什么我怎么就觉得一点都不公平呢？我们现在要怎么办呢