农村自建房未建到一半质量问题纠纷（未签合同）

我家建房属于地震灾后重建房，施工队是别人介绍的外地农村施工队，包工不包料，约定好价钱后开工，开工时工头找借口离开，未及时签订合同。房屋基础完成后付给工头一万元工钱，并且要求签订合同，我们要求在合同里写入质量问题的条款，工头拒绝签订。后来工头很不老实，工人不听招呼，陆续发现箍筋无弯钩、墙体垂直度严重超出规范、构造柱处的马牙槎砌筑不对称等诸多严重质量问题，包工头拒绝返工，故意拖延工期，现在已两个月左右，房屋第一层只砌砖墙未做现浇，因未及时现浇，立起的钢筋笼已全部生锈，即使现浇也影响结构安全。现在已无法与该包工头合作下去，打算另找人继续做。请问，根据该情况，整改已不可能，我们能否向包工头索赔？估计要他赔款，他也不会拿出来，我可否以质量问题为由拒绝支付工头剩余工钱？（起初约定好第一层现浇完之后付第二次款，但是未做现浇且质量严重不合格）