我在淮安，我想咨询您一下，5月24号我和他人发生口角并发生推搡

我在淮安，我想咨询您一下，5月24号我和他人发生口角并发生推搡，对方先动手打我，我后回手推了一下，至对方坐倒在地，经医院检查没有问题，唯一有问题的是对方腰椎最后一截有1度的错位，其他的的检查未见异常，后由当地派出所进行处理，由对方当事人侄子出面协议处理，要求赔偿对方当事人检查费用，24日当场本人付清费用，并派出所出了一式两份调解协议，双方签字生效。现在当事人本人又不认了，要求再进行赔偿，要求再去派出所进行做笔录。请问我有必要去吗？如果不去会怎么样？像这种情况我可以追究对方的责任吗？注：当地派出所每天一次到二次上门去找我，导致我店面及家庭严重受打扰。