协议赔偿问题

律师您好！去年我请一个包工队为我盖房，他是以前和我总打交道的一位熟人介绍来的，所以我比较信任。在签订协议的时候，并没太当回事。协议上就写了什么时候完工，工人进场给10%，地基完成给30%，主体完工给50%。别的就没约定什么了，都是按照双方商量着来的。前期合作还好，后来慢慢的我发现这个包工队干活的质量不好，而且没按时完工。因为是去年年底了，天气冷了，本来约定好盖完主体就行，装修的活春天在干。虽然年底的时候他们把房顶弄好了，但是延误了工期，而且质量不好。所以装修的活，我就找了另外的师傅来干。现在人家要我支付他90%的费用，说是房顶盖了，主体就是完工了。所以必须按照协议付款。请问，我必须要付清款项么？是他们的质量不行，我才决定不用他们的。而且合作时，我们都是一笔一笔的把钱结清了的。他现在就是拿着协议，要求我付给他90%款项，因为上面写明了主体完成付90%。他们的质量不行，我不可以不用他们了么？还要付给他们钱么？我要付给他们全款的90%么?