批发退货问题

我在订了一批货,当到货后发现:袜子勾丝严重无法销售,于是就联系了卖家要求退货;卖家同意退货,并要求我把货物发回去。但是卖家收到我发回的货后说:货物有包装破损且数量不对,每件要扣我一元的包装破损费(市场上的包装价只有5角,其中包括包装袋和人工费,而且并不是每件包装都有破损,只有少部分的包装有破损)。包装破损不知道是物流过程中造成还是卖家刻意为之(因为现在好的包装他也要扣我的包装费,因此有刻意扣价的嫌疑)。现在就算是物流过程中的破损,我也无法再找物流公司,因为卖家在提货是没有给我电话核实,而是提货之后才电话通知我说货物有包装破损和数量不对,并给我发了张照片,从照片来看:货物的物流外包装(物流编织袋和纸盒)已经破烂(货物可以遗漏出来),破烂的地方用包装胶带粘过;货物的销售包装有摩擦过的痕迹,应该是在地面拖动货物时所造成的。我也问过卖家为什么不在提货时打电话给我,卖家说:物流公司告诉他,货物寄出时就是这样破烂的。 我在消协咨询过,他们说我这是经营纠纷,他们不受理。我该怎么办？