能和装修公司解约吗？

新房装修为了省事就找了一家装修公司，装修公司是外地到我们这边来搞活动知道的。后来和装修公司谈好自己买主材，装修公司负责人工和辅材，一共谈成4万左右。
自己不太懂就按照装修公司的条款签了合同。签合同的时候就付了40%的款项和两千元的定金，相当于付了45%的款了。水电完工，装修公司要求支付二期款项，二期款是45%，也就是说水电完工就要我支付85%的款。因为前期对装修公司做事态度的不满和从其他个别业主那里了解他们有拖工期的担心，我要求至少泥水匠进场再付二期款，谁知道他们连这都不同意，就说不付款就直接停工，因为合同说的就是水电完工就要付二期款，其实我一期款本身就已经远远超出水电工程那点钱了。
我现在不想让这个装修公司做了，公司不同意的话能有办法强行解约吗？还有就是解约我能追回一期款项超出的钱吗？