请问我有没有责任，我该怎么做？

我以前是一个公司的业务员，离开了那个公司之后以前我做的客户打电话到我这买东西，我就到以前的公司跟那个公司的业务员谈好价格，然后按他说的把钱打到公司再去提货，结果我去叫人去那公司提货的时候，被那公司的老板知道了，那老板以前我就跟她有矛盾，结果她说货不给我，钱也不退给我，然后我就说不退我就去告她，她说你是以我公司名义做的生意，我告你还差不多。我的看法是那个客户到我这买东西就算是认为我还在那公司，但是起码的她公司也没跟那客户交流，说我已经不是公司的人，不要到我这买，再说客户把钱打给我，我到她公司买我就算是买家，如果按她说的我是否有责任？我可以先把客户打给我的钱还给客户，然后去告她。请问我的这个问题是否有什么不妥之处？