工程合同附件代签字，不按照预算上的做

我在拿到房子之前就联系了一家装修公司，然后发了一份户型图给他们，让他们简单的做一个工程预算，然后我刚拿到房子的时候就跟他们见面了，当时大约简单的看了一下预算，价格比较符合预期，就签了他们公司来做装修，但是他们一直没有去现场核对尺寸，后来过来找我签预算和设计图的字，当时我就表示对这个设计图不满意，但是他说我这边是基装后面现场改就可以了我就没太在意，但是他当时是没有给我预算表的，后来自己在预算上签了字，他说发给我看过了就是我确认了，后来我也没太计较，觉得没必要为难人家
他们进场了之后，就开始跟我们这边说要增项，我们当时就说那做就做吧，但是我们当时就在包水管的过程中，发现他们的做法不是按照预算上规定的标准和规范来做的，后面在协商水电的过程中发现根本说不过来，他们就开掉了我们项目的经理，换了一个项目经理又告诉我们别的项目需要做增项，后来我们就仔细看了下我们的预算，上面的面积几乎都不对而且远远超出实际很多，我们就要求装修公司重新做预算，可是设计师以流程太多改成做增减项，数据来来去去的都不对，我们在解决这个纷争的时候设计师和项目经理之间就开始踢皮球了，我们夫妻后来就不太敢把项目后面的东西给他们做了，所以我们就想减掉最大的墙面的项目
他们项目经理来电话问我，为什么要减项，我也陈述了我的理由，但是他们说不做墙他们没法做，就给我们提出来了可以解除合同或者重新做预算，但是交涉的过程中我们一直坚定的觉得墙的项目不想让他们做了，他们就提出解除合同终止协议，结算当时已经做了的项目和项目管理费，但是他们认为不应该他们来出20%违约金，后来要出违约金又说只能负责的设计师出2000，公司是坚决不会出的
现目前私下我提出的付现有的已做项目的金额20%的违约金，他们不出，没有后续的动作
私下解决我只是希望能快一点把项目拿到手上，进行后续的步骤，但是他们不出违约金这件事让我觉得我的权利没有得到保护，我想知道的是我这种情况应该怎样做更合适，如果我找消协的话有用么？如果不顾时间的话付诸法律程序，我应该怎样寻求补偿