合同签订后装修公司迟迟不动工，且看上去根本就不是专业装修公司

我们和装修公司签订了合同，合同内容是：单包工，但是衣柜和电脑桌必须在他们那里购买，包工费交了50%，衣柜定金交了500元。后来我们发现他们在房屋改造时根本不太会,如：①打线槽根本没打好，后来我们找到他，又叫专业的人来修补；②约定好×日来安装水电，结果又推三阻四的，在我们多长催促下才找了个人来安装，还闹的挺不愉快的；③贴砖时又让我们等了半个月才找到人来；④口头上说好了要给我们出图纸和预算的，结果现在瓷砖都贴完了还没跟我们做；⑤今天来量柜子尺寸，结果我们看见他居然是量悬空的距离，还是另外一个人提醒他要量地面距离。还有，做几个卧室的柜子，他居然只量一个卧室的高度，其他就没打算量，又是他人提醒他才量的高度，结果每个高度不一样。（因为有改造墙）。现在我们根本就不相信他有那个能力能装修好房子，我们觉得他的柜子价格太高了，不想在装修公司做了，定金我们也不要了。但是他们就要终止装修合同。非叫我们付装修金的50%作为违约金？我该怎么办啊？