服装店剩余货款能拿回么

9月份加盟了一家女装品牌，首批货款是8万。我先给厂家打了5万块，厂家配送了5万多的货。后面3万开业之前也打给厂家了。一共是8万的货款，还有1万的保证金。10月份的时候我这边是湖北比较冷了。开始上冬款，可是厂家的冬款太少，我需要订的货没有。商场的其他专柜都有冬装，就我们家还挂着秋装在卖。导致我这边冬装没有及时上架。流失了很多客户，大半个月没开张。现在我不想做他们的品牌了，因为货品根本就跟不上我当地的季节。想拿回我剩下的货款，大概有5万多。合同上面没有写货款可退可不退。期间我也没有下任何订单，把一部分秋款退了回去（合同上是100%调换的），请问我能通过法律手段拿回我剩下的5万多的货款么？