淘宝拒收货物

我在淘宝买了一件衣服，衣服质量有问题，一只袖子长一只袖子短，我决定换一件，卖家说拒接到付，我就让卖家先把邮费打过来，我给寄回去，卖家不同意，说先邮回去，再打邮费，我答应了。到快寄的时候，我想了想要是我付邮费，他收到货不退我邮费怎么办。所以我就没和卖家商议，邮的是货到付款。结果卖家拒收，又给我邮回来了。结果钱淘宝也打给卖家了，可是我又不想接收这件衣服，毕竟要付双倍的邮费，拿到那件有质量的衣服。想问一下这样付不付法律责任？我没积分，才申请的账号，不能给你们了，请好心人帮我一下。