我该怎么办？

一天开车与行人发生刮蹭，当时没有注意就走了。事后几天交警发短信来要我去交警大队处理，去后对方当事人没去，家人去了，当时交警要我们自己协商，后来与他家人达成协议，一次性赔付一万多，当天我与他的家人就去了他家，看望伤者，伤者看来也只是轻微擦伤。当时我就把钱给了对方，并草签了一份协议，双方当事人签字，并约好了过段时间去交警大队签字了结此事。一个月后我约对方去交警大队签字，但对方却不肯签字，说自己还是不舒服，后来为了让他能在交警那签字，我们就改了我们各自留底的协议，增加了一条：“六个月后诺检查有后遗症，由甲方负责。”而留在交警那的那份协议则没有这条，并且在责任认定书上写明此事已解决，无遗留问题。后来，又过了一个月我买了东西去看望对方，想把那份留在他那的协议拿回，可是对方还是不肯，说自己还是不舒服，其实当时对方已经没什么事了，都能骑车了。
所以我想问问，在这种情况下，我怎么样才能最大的保障自己的权益呢，难道我要一直这样被他牵着走吗？？？？？？？？？？？？？？