。。。。

其实我的问题比较复杂，我是个送快递，前两天给客户送了一件货（从淘宝上网购的），客户打开后查看后要求拒收退回发件方。我当时把货带回了公司，没有退回。因为按规定需要在物流信息上看到卖家回复了退回信息后才能退回。本来我等看到信息后退回就是了，可是后来发生了意想不到的一件事。由于每天日常工作很繁忙，一时忘了这事，在晚上做签收工作时，不慎将这件货也刷了签收。第二天，我接到收件人的电话说，他正在向淘宝申请退款但是看到我做了签收，淘宝网坚持要把货款划给卖家。收件人说要是他有损失要我来承担。但是收件人跟我说过他之所以会拒收，是因为这个淘宝卖家根本就是个骗子，本来他买的是一种有折扣的充值卡，但他收到的根本就不是。。。后来我看了一下那个卡，表面上看就像是普通的门卡，就像宾馆用来开门的那种。收件人说两张卡要七八千块钱。。。。之后我查看了物流信息，发现寄件人，也就是淘宝卖家留的地址和实际寄出的地址根本就不一样，电话也是虚假的，收件人也说他在淘宝旺旺上和卖家联系，可是对方就是不回应。我真不知道我该怎么办了。。。。我该对此事负责吗？？求助中。。。我想问一下，这么明显的一个虚假痕迹，淘宝网会视而不见，坚持要收件人（买家付款吗？）另外一个对于在淘宝网上涉嫌诈骗发售虚假货物的商家，淘宝网就一点没责任吗？现在出了这种事，做为我能怎么办？