建房合同如何继续或解除

我于2009年11月1日和别人签了个建房合同，是包工包料的，是个人建房四层砖混结构。开工时，我给了对方一个图纸，不是我们小区规划的，但外部结构是一样的，只是内部不一样而已，指挥部是同意这样做的。但在盖到二楼的时候，对方只是指着另一家包工不包料的房子问了我一句：“和他那样可以不？”我以为是说房型一样，就说：“可以呀，签合同时不是说好了嘛？”那家人和我们用的是一份图纸，就这样在二楼时老板反12根构造柱减了4根下来，这些是没有写在合同上的，也没有附加合同，在二楼盖好时，我们发现了，就问了他，他说不会出现质量问题的，到最后会再细算账目的。我们想着又是战友（那个老板和我老公是战友），这样也是为我们省钱嘛，所以说没让停工。当主体完工时，我们已经付了他12.5万，刚好碰上过年停工了，我们就说和他谈谈还要多少钱，因为手头上不太宽裕嘛，问清了好有个准备，可他却说只给少6000元，由于我们是大包工，那么四面都应该粉墙的，可现在是两家共用一面墙，那面墙就不用粉了，那这面墙的钱也省下来了，屋顶本来是斜坡现浇的，现在是用彩钢瓦，那这不是也省了些，加上还有些小细节问题，所以这房子我和我老公都不满意，认为和我们签的合同上讲的房子质量是差别很大的，所以只少6000太少了，合同签的是23万，我们想少2万，可对方不同意，就这样房子就停工了，直到现在。对方还有建房工具放在我们一楼和二楼，一楼和楼梯口都被他封着，我们都无法上去看看。合同是截至到2010年3月1日的，请问这算不算违约呢？建房合同如何继续或解除？