我好麻烦！

我姓王，今年22岁，我和一个49岁的朋友合伙办了一个服装加工厂，很小的，十几个人。可能是我个人太注重面子什么的，在办厂时什么合同都没签，大家都是口头说的，这个厂我们一共投入了50000多点钱，他占了6成我占4成，但工人全是我找的。我们是6月27号开工的，到11月13号闹了矛盾就没做了，矛盾是起因是从我提出散伙起来的，我提出散伙是因为我找的工人在这里都没挣到钱，主个例子，我这有个工人去年的下半年在别人厂做，工资到了2万，时间是4个月多点，现在在我这里才1万多点，时间差不多。所以我才提出的。
  当初我的合伙人和我说好的，亏不能亏工人，我记帐他送货接货，现金他收，工人要走就会立马把工资结清， 
  我们闹矛盾从13号闹到23号，当时闹了矛盾他就回家了，一直不过来，到了20号，我没办法，我打电话给他，告诉他;我们接着把下半年做完，他到24号过来的，来了后，我把工人说好，叫他们做完下半年，我在和他说，他告诉我，要做可以，要工人都签字，答应好好的做完下半年，然后叫工人把13号到25号之间的损失补上。
  本来这些工人在我们这里就没挣到钱，现在还要他们出这样的钱，工人都不愿意，没办法，这样又闹到调解中心。
  到了调解中心，调解人员说：事情是谁搞出来的，谁就要承担责任，工人没做，那工资也不能发清。
  我就想问下黄律师，像我们股东之间说不做了，说撤股和分开，有责任存在吗？
  把工人的钱扣下，不发清，这样的做法是对的吗？
  明天还要去调解中心，我听那些去过的人说，调解中心给工人的工钱都是按照，60-70%发给工人，我真的担心，工人本来就没钱还要这样扣，我真的不好意思啊。
   麻烦你了黄律师，帮我分析分析了， 工人的钱该扣吗，我要承担责任吗？