我们是零九年结婚的，婚后他没有一分钱还是我没有结婚是打工挣的一万多

我们是零九年结婚的，婚后他没有一分钱还是我没有结婚是打工挣的一万多，我们出去打工没有生活费就用我的钱，之后就有了我姑娘，我哥见我们没钱，就把人家领到西藏矿上去，一个月一万挣的还可以，可是人家赌博输了六七万，我哥说了人家不管，现在我有一个女儿，一个儿子。人家还是打麻将不挣钱，有时间还不回家。我想离婚可我舍不得我的女儿，儿子，怎么办？？？？现在我们手里没有一分钱，也没有房子。