关于交通事故一方不可接受赔偿的事情

我是今天在一个丁字路口左拐的时候和一辆助力车相撞，助力车驾驶员为软组织挫伤，现在交警方面开局了交通事故责任认定书（简易程序），责任为我主责，对方次责，目前双方在责任认定上都签字了，可在损害赔偿调解上无法达成一致，对方需要5000元赔偿，我让对方到法院起诉，对方不愿意，以不签字我无法年审为要挟，请问我该如何处理。