关于交通事故后受害方拒绝调解、拒绝签订责任认定书

我开皮卡车从之路进入住路路口与主路非机动车道一辆逆向行驶的电动车发生刮碰，对方倒地脚步受伤，经医院检查医生证明为脚部扭伤红肿，我先行垫付医药费并在对方医疗证内预充1000元一共2000元。事后接到交警电话到区交巡警大队处理，责任认定为我主要责任，对方次要责任，交警让双方自行协商解决，无果。对方拒绝签订责任认定书，切拒绝交警调解。请问，这样对我有什么影响。如果对方狮子开口，我可以不认吗。