快递发错地址，导致我的客人退单，应该怎么处理？

我的客人给我下单，我就给公司订货，因为要得紧急，我就发了顺丰速递，然后公司地址没有写错，但是快递员分类件的时候给我发到别的地方去了。现在我这边的收货时间已经超出他们快递所承诺的服务时间，快递员也给我电话了，我就要求快递员承担这边寄过来的运费和我顺丰过去给外地客户的运费（因为这边耽误太长时间怕客户会退货），快递员不同意，他只同意承担他那边到我这边的运费。我应该怎么维权。