我要离婚，该怎么办才好？

你好啊！我准备办理离婚，很多不懂的地方，请赐教为感！谢谢！ 
 我家庭比较特殊，妈和弟弟都是弱智残疾人，所以爸去世时把家产交我管理，我本人是没钱的，家里还有个80多岁一直在照顾着这个家的外婆，我于1995年认识大我20年的现任丈夫，那时他42岁，我22岁，他有一个非婚生儿子2岁6个月，他说跟我在一起怕委屈我，于是95年买了套房子我，但钱不是他一个人出，我也出了小部分，房产证是我们2个人名字。一直我们都同居，他还口头说以后每个月给我2000元，不过一直没兑现，其间做了点小生意，也是双方都有投入，他有赌的习惯，我也为他还了不少赌债，后来一气，我拒绝再帮他还债，他也没再问我要钱，到97年我们领了结婚证，99年生下我儿子，现在儿子都9岁了，儿子出生后他没有固定给家用我，时有时无，最长试过6个月没给，外婆2001年去世，她去世后我三两天就回去买好菜，米给弟弟和妈妈生活，就这样过了一年，我发觉这样不是办法，得跟他们住在一起方便照顾，但娘家环境很差，也考虑到儿子将来要读书，就决定用娘家钱买了一个套间，当时我把想法告诉丈夫，他说我没钱买屋的，我说自己会搞定，于是2002年买了现在住的房子，把弟弟妈妈带来，房产证写了我儿子名字，因为我想，娘家钱买总归都是给我儿子，为将来省了过户钱写了儿子一个人，丈夫也没意见，旧房子是外公宿舍，我没要了，把弟弟妈妈户口也迁过来了，现在旧屋也有新主人了。

到了今年5月开始丈夫没给过我家用，只是买2餐菜，其余费用是我出的，我儿子的学费他给到2年级就没给了，而我对他已毫无感情，4年没跟他房事，但我没搞出轨事，他一直是旧模样，晚上不回来，或者3，4点回来，或者明天中午回来，他的大儿子一直是由他妈带着，每月给800元生活费，04年这个儿子也来跟我同住，户口没迁来，在他奶奶那，一直到了今天，我无法再忍受跟他们2父子同居一间屋，搬来新屋，我和弟弟妈妈都被丈夫打过，特别我妈，因为她是傻的，做家务不灵光，常因为这样打她，我真很心痛，他一发火好吓人，谁都有可能被他打，最近少了打人，骂人，他妈去年扭伤腰骨，生活不能自理，于是丈夫就做好饭菜让我妈妈和弟弟轮流送去。中午我妈送，还要帮他妈妈家搞卫生，洗些被子子，晚上我弟弟送，弟弟经市残联介绍了一份工作，白天他都上班的，到现在还是在这个单位工作。
现在丈夫的大儿子已经16岁了，品行一向不好，初中没上过多少天学，但花钱厉害，从小时候开始就养成花钱，懒的恶习，这些我都不想过问了，丈夫和他妈不会接受我的意见来教他的儿子的，现在我就想着离婚，跟我儿子，弟弟，妈妈一起生活，就算是喝水也是甜的，我离婚要求不高，我儿子由我独立抚养到他独立生活为止，我和丈夫婚前购买的房子归男方所有，离婚生效起他们父子马上搬出我的娘家。最好是协议离婚，但我怕递协议他看时会发火打人。我想能不能叫他们父子先搬离我娘家，再办理离婚手续呢？
盼解答，谢谢！