房屋装修纠纷

本人与一家装修公司于今年6月5日签订装修合同并于当天开工，约定合同签订后付款5千元，但是对方公司没有及时告知付款方式，故我没有付给对方该款项。第一项水电工程，由于有一下水管道始终没有改造到位，因而一直没有完工和验收。在水电没有改造到位的前提下，公司仓促派员进行泥水工程，由于存在泥水施工质量问题被我叫停，并告知公司更换施工人员，直至8月底在我的催促下该公司才更换施工人员，将该水管改造到位，具备验收条件；此时公司派人催讨开工费用伍仟元和水电改造完工应付款项七千元共计12000元。由于该公司为了赶工期将泥工木工漆工同时派驻进场施工，我担心施工质量，多次交涉要求不要混合施工，无果。故而到此时我一次性给付公司1万元整，对此双方并无疑义。后根据工程进度先后付给公司一万元、一万五千元和伍仟圆，前后共计四万元。油漆工程于十月中旬完工，至此已经耽误工期37天。现在进行最后的设备安装工程，我提出从合同总价款中扣除误工罚款3700元（合同已经约定误工每天处罚100元），同时由于工程质量有问题罚款2000元，对方以我未及时给付开工款项先违约在前为由，只同意误工费3500元，不愿承担工程质量罚款，并且撤掉施工人员不再施工，与公司负责人联系也不再理会本人，眼看耽误入住时间。请求各位法律界人士，告诉我应该如何处理此事，非常感谢！！！