我是一个挂靠别人公司的承包商（公司以授权给我并且有公司资质）

我是一个挂靠别人公司的承包商（公司以授权给我并且有公司资质），包给一个无资质的清包小老板，我有与他有合同约定，签订内容大概是：以标明单价为依据，以实际做完工程量为基础，竣工验收交房之后给予他结算，结算到百分之九十五，扣百分之五的质保金，两年没问题后给予结算剩余工程款，合同约定是中途不服从管理，煽动闹事，没竣工，中途撤场，不干了，我与他签订是拒付剩余工程款。我想咨询的是但是他现在工程还没竣工，现在不干了，撤场，清包老板工人现在问我要钱，原因是清包老板由于工人使用不当，工人不服从他现场管理人员的安排失误，偷奸耍滑，不按施工秩序出现窝工，工人没有责任心、盲干、乱干，提前下班，迟到上班，干活期间玩手机偷懒不干活，严重不符合我们工作时间，导致工程亏损，做出来的工程造价远达不到实际发生的人工费，他的工人找不到他们清包老板，打电话也不接，工人现在强制性要我们给予他们结算，请问律师像这种情况，我该怎么办，用去法院打官司吗？