行车直行过程中被其他车辆变道时剐蹭，没发现离开现场，有我的责任吗？

我正常行车直行，左侧车辆变道时剐蹭了我的左后部，当时我没发现继续行驶离开现场，回家接到电话后说我逃逸，要追究我的责任。看了行车记录仪后才发现当时有可能后车划了我的车，并且我当时为了右转等待公交车二停在原地23秒钟。那个肇事车也没有现场通知我。请问这算是我的责任吗。他要求我赔偿他的损失并且追究我的擅自离开现场责任，这合理吗？我到觉得应该追究他违章便道造成我的损失。行车记录仪可以证明我当时没有发现情况。也没有刻意加速驶离现场。
我应该怎么办？ 我觉得这属于典型的恶人先告状。