定了12万的货，还差3万的货不给，钱也不退怎么办

2011年4月份在淘宝网的一家叫灵儿包包的店，定了12万的包，当时我特别着急要货，对方要求银行汇款。当时电话联系先打了6万货款，直接打到对方银行账户了，后来18号又把其余货款6万打过去了，没有合同，交货赶工出现严重质量问题，导致我的网店一直停业到现在，其中退回了635件货，已经在淘宝的聊天记录里确认了，现在那个人款不给退，货也不给我，我和那个人一直有在淘宝的阿里旺旺上和电话联系，但近期多次联系都不回复，像失踪了一样（因为当时他们告诉我，他们就是生产包包的厂家，我才和他们定，现在告诉我，他们是找别的厂家生产的，如果要货，那个厂家不给他们，他们就不给我货，但是我当时钱是直接打给灵儿包包的店主的，现在他们推卸责任，说635件货，和他们没有关系）这样的情况应该怎么办