物流不核实收货人身份把货发走

尊敬的律师先生你们好；我要咨询，我收发货人，2014年11月17日，从河南省鲁山县盟友88物流发一件货到河南省夏邑县，物流没有核实提货人信息让人把货提走，后，又追回，造成买家退货，产生费用380元。
事情经过；11月16日，买家电话联系说看上我的产品直流炒货机，想做代理商，要一台样品，谈好，价格1300元运费提付，付定金300元，下欠1000元货到付款。因款数太少，物流代收太麻烦，我采用发货人姓名电话是我的，收货人姓名电话是我儿子的，（之前长这样用）。17日发货，18日9；23分夏邑县物流打收货人电话说；货到了。我、发货人给买家打电话说；货到了你付款退货。买家坚持看完货在付款提货，并表示他是开车的讲信用，我、发货人相信了、告诉他货在哪里让他去看货。由于物流失职；买家报不出收货人姓名电话，就让他报发货人姓名电话把货提走。（这中间从没联系收货人核实，是否派其他人去提货）。事发后，11月20日物流把货追回。让人难以理解的是；夏邑县物流让买家已发货人的身份把我的货在发给我，产生费用380元，（定金300元往返运费80元），由于物流失职我的货变成他人的货，这件事鲁山县物流前后知情，但他说；只按制度办事货单上写多少钱你就的付多少钱，不服你找夏邑县物流说。不付款还不让我退货。一家代理商就这样让物流给搅黄了，损失谁来负？两个物流是一个系统的总部在郑州，物流态度强硬，请问；我该起诉那家物流，真的要去外地起诉吗？。谢谢