淘宝卖家遇见买家诈骗，淘宝处理竟然退款买家！？

我是淘宝卖家，6月14日买家A到我店里来谈【日本充值卡】的购买，却是由付款B在我店铺付钱。我发货给并没有在我店里付款的买家A的同时，也发货给了付款B，之后【日本充值卡】被全部充值成功了。可付款B说与买家A谈妥的是【汽车加油卡】，不知道为什么买家A给他的链接是我店铺的链接，说他并没有收到【汽车加油卡】，于是申请退款。淘宝判为第三方诈骗，要我全额退款19250元给付款B。我不理解的是我的案件若是作为第三方诈骗来处理的话，那诈骗犯能诈骗成功的必然原因就是因为买家确实的付款导致的，不是吗？因为没有买家的付款，就算诈骗人和卖家谈的再天花乱坠，这订单也是不会成立，作为卖家也是绝对不会发货。可是，淘宝一直追究的责任却是卖家是否发货给第三方买家A，而不追究真正导致诈骗成功的买家的责任呢，为什么要唯独让卖家来承担因买家没有确认清楚最终付款而起的损失呢？