男方不离婚，不管老婆孩子。如果离的话他一个孩子也不要说养活不了

我结婚4年女儿3周 儿子9个月
 一开始夫妻感情就不和 孩子他爸脾气非常不好 还有家庭暴力 后来 有了女儿  他就开始不去挣钱。我想也许慢慢会好的  我只要结婚 就觉得不考虑离婚 。 后来  又有了儿子 他还是这样 多数时间我和孩子都是花我挣的工资。 有了女儿以后 我结婚的钱  和女儿的奶粉钱 一共是3万2 都给了他。 现在他还借了他姑姑的4万 在我不同意的情况下。 去年我的工资 6500也给了他  他还贷款买车。 我签字了 过年以后  他一分钱也不给家里 我手里也没钱 实在是过不下去了 贷款买车 两个月没还贷款了。我要离婚 他不离 说离的话 孩子都归我。 年后，不挣钱养老婆孩子前两天还离家。