快递代签货物破损快递公司该负责吗

在淘宝上买了一个迷你洗衣机，快递送过来时我不在我妈拿的货（我妈告知了快递我本人不在，身份证也不在，快递说没事，把东西就给我们了），没等我妈验货，也没让我妈签字，快递就开着车走了。然后发现包装底部有开口，里边洗衣机外部和内部都有裂口，给快递打电话说明情况，快递让找卖家，我们同卖家协商，卖家同意退货，让快递把东西拉回去。我们让快递把东西拉回去，快递以已签收同他无责任为由拒绝，可单子我们根本没签字，是快递自己签的字。这种情况下，我们该怎么办？快递难道不该负责任吗？