希望能得到您的帮助

您好!
   希望得到您的帮助。现将事件简述一下：
我司是一家小型物流公司，9月11号承运A公司的货物从广州发到南京A公司办事处，收件人是办事处负责人XX，货物到了南京后，我司联系不上A公司南京办收货人，那时刚好有个自称是南京办负责人XX的秘书，手机里面有A公司广州业务经理发的信息，信息里面包括有承运物流公司、承运单号、收件人、货物件数等等，全部符合，因此在没见到承运单上提货人的身份证情况下我们将货给了他。现在A公司说货给错了，要求我们追回，否则一切责任由我司承担。我们现在报了警，在警察的介入下，情况大致如下：
1、 实际来提货人是B公司的人
2、 B公司与A公司的关系是代理关系，B公司是A公司的南京代理商
3、 B公司承认这批货是他们公司提的，但也强调说这批货本来就是他们的，他们出据了8月30日的汇款单，与这批货的装箱单金额一样。（我们的货是9月13号被提走的）
4、 装箱单、箱子写的也均是B公司的名字，唯一的是收件人写的是A公司南京办XX的名字。
5、 信息是A公司业务经理发给B公司的。
由此可见，A公司和B公司是因为A公司设了办事处有矛盾。B公司之前的货款未给清，但此笔货款给清了。
现在A公司要求我司要回此批货物，B公司说这批货物本是他们的，警察要求B公司给回我们，但B公司不给。我们是否错在没将货交到承运单提货人的手上？但都基于A公司发的那条短信。我们该承担什么责任。敬请帮我一下，我将感激不尽。