交通事故中碰瓷纠纷

前几天开车出去买东西结果遇到一个老头碰瓷。我的车还没有开到他跟前他就准备摔倒在那，正好赶上我的车开到他面前他倒下，旁边的群众都跟我说不是我撞的他，他自己摔倒的，但看他是老人家，我出于好心下车询问，他当时就说是我撞他，周围群众和我都看出是碰瓷说给他100块算了，就当倒霉。他当时嫌少，我就把他送医院想检查一下，让他无话可说。结果正赶上医院机器维修，当天做不了检查。家中兄弟说这种事不管也不是我们的责任，当时想想也是，就走了。过了两天接到交通队的电话让我去做笔录。据说那个老头腿折了，是事发第二天查出来的。让我先赔偿5、6万，我不同意，对方说要告我。我想咨询的是像我这种情况，有证人，而且确实没有撞人，但是事发路段的摄像头没有拍到事发经过。因为我出于镜头死角。不能为我证明事实。请问这种情况我该怎么办？