跟别人发生口角，他先动手推了我一下，我就还手打了他一拳，这属于正当防卫吗对吗

我被打倒在地上，之后他拳脚攻击我头部导致我轻伤 到了派出所说要调解 我不愿意调解 他们就恐吓我说也要拘留我 认为我们是在打架 我不属于正当防卫 他们这样说对吗 而且我受伤较重 他无明显受伤 现在已经书面调解适当补偿我了 我现在很后悔跟他们达成那个协议，请问我还能够维权吗。