请教律师财务纠纷

各位律师，你们好：
    事情是这样的，10年接了一个别墅刮大白的的活，接下来后就找了一位油工施工，但是油工的水平一般，达不到质量要求，勉强做完，因对质量不放心，甲方只给了一半款，余下的要等一段时间再给，2个月后，房子有好多地方鼓包开裂，甲方联系到我去维修，我叫油工去了，修补后过了一个月，又有其他的地方出现问题，我打电话叫油工去维修，油工不去，说先给钱再维修，甲方很生气，自己找人重新做了，但余款也不给了，过了半年，这个油工找到我家要钱，还扬言不给就闹，我说叫你去维修你不去，甲方已经自己找人弄了，余款不能给了，他不管，就是堵着我家门口，还带着老婆要跟我回家，我只能外出躲着，请问我应该怎么办？请各位律师给想想办法。
    没有合同，也没有欠条，但甲方的确没给余款，我也不能给他，我也不能起诉甲方，因为质量确实不好，我也没法要。