要求退款，他不退

我是淘宝卖家，前几天一个客户在我这里买了40件衣服，一次性，我直接按批发价给他的，他付款以后，申请退款，我退了，第二天 有到我店铺里买了5件衣服，然后我把钱打给厂家了，客户有申请退款，说我没有发货，他说晚上拍的宝贝，按理说是第二天发货，然后他非要申请退款，真的对于新手，我也不是太懂，联系厂家，扣扣明明在线，可是却不理，然后我打电话，发现电话号码是假的，接我就向厂家申请了退款，可是第二天他说已经发货了，但是我查不到任何的快递信息，我说要他把货，调回来，给快递公司的打电话，他不理，还说这是我的责任，要我自己与买家协商，可是根本联系不上，电话没有接。现在的情况就是，我付了钱，可是买家已经退款，而卖家已经发货，如果买家签收，我的钱就没有了，或也没有了，现在我要怎么办。。。。