我离婚2年了，当初判的是男随父，女随母抚养费自立，财产我什么都没要

我离婚2年了，当初判的是男随父，女随母抚养费自立，财产我什么都没要，离婚后他说去干活，孩子要我照顾，我同意照顾孩子，我要求男方每月1000月抚养费，男方同意后、孩子一直由我抚养，我在县城生活男方每月1000元根本就不够一个孩子，但是我并没有多加他抚养费，可男方2年就给了8000元，而且每一次要一回他总是不想给，要一回钱他说把孩子要走，不要钱他也没说要孩子，我孩子已经10岁了，孩子也非常不愿意跟着男方，我们离婚就是因为男方喝酒成性，到现在还是这样，孩子说他喝完酒光打他，男方父亲是个生活不能自立，常年由他母亲照顾，但人家父亲每月工资3000元，不用他照顾，但孩子抚养费男方现在一直拖着不给，我想问一下孩子如果不愿意跟着男方怎么办，男方从来尽过一点责任，一年多了他都不给抚养费，孩子一直由我抚养。