农村建房合同纠纷

11年9月份我委托一外地泥水工（野路子）承建我家4层住房，合同是订145元每平方米，总共造价8.4万元，但是每层结束约定支付1.5万元的预付款，其余工程款等房子结束后再结清。今年6月份房子四楼现浇好，但是施工过程中有一处搭建模版踏下来了，后面经过处理将楼顶浇灌下来。当时我就担心质量问题，所以只付了7千的工程款给承建方，留下8千工程款。过了两天房子出现严重的漏水问题。我通知承建方等瓦盖下来，没有漏水情况我才能支付剩余的8千工程款，但是承建方一直不让步，非得让我支付8千工程款并把第一，二，三层的内墙粉刷钱结算给他才来继续施工。僵持了两个月还是协商不了。我想终止合同，但是对方要求我还要支付他1.5万元的工程款。我已经支付他5.9万元了，如果加上他提出的1.4万元，那我剩下来只有1.1万元的工程款，现在房子四楼内墙没粉刷，瓦没盖，整幢房子外墙没粉刷，剩下的工程实际还需要2万元才能结束，我没同意，他就来我家闹，不准我施工。我觉得有点讹钱的味道了。请问我该怎么办？？急~~急~~急~~