我的装饰公司，有个业主把房子交给我们装修，但他提出很多无理的要求，要我们打掉部分的梁和承重墙，我们之前又叫业主签了一份协议（关于打掉的部分的承重墙和梁我们不负责任的协议），后来了解到打梁是违法的，我们不愿意打，业主就说“你们之前叫我签了那个协议，现在又说不打，做不了你们就是违约，要我们公司把钱全部退还，并且还要赔偿违约金”；我想请问一下，我们这样算违约吗？ 补充：承重墙的位置不是很受力的地方，我们也打掉了一点。
----------------------------------------问题补充：--------------------------------------------------
如果算违约的话，双方要付多少责任，怎么赔偿法，之前合同上没有明确写出。 这样的话业主算违约吗？