采购货物，结果供应商货物不合格

我公司在供应商那里订了一批箱子，先预付了一半货款。因为货物的特殊性，我公司先提前把需要存放在箱子里面的钢管寄到了供应商处，让供应商按照钢管尺寸制作箱子，并在合同上面标明，钢管外表有镀漆，制作过程需要轻拿轻放，寄回时不能磕破。结果，供应商把箱子通过物流寄过来，并申请了货到付款。可是我们验收的时候发现箱子内衬不合适，而且因为对方包装不严实，导致大部分钢管表面油漆出现裂纹。所以我们就拒收了。
现在的问题是，供应商拒绝赔偿我们的损失，我们跟他联系他现在不接电话。箱子跟我们自己的货物也因为拒收被物流公司拉走不给我们。我想知道这个问题如果我们告供应商的话，他需要承担什么责任。