起诉离婚，财产分割

我今年53岁，老公是个持有残疾证的瘸子，当初顶着全家人的反对嫁给他，却开启了我噩梦般的人生。儿子很小的时候他和同村的妇女瞎搞，被人家的老公找上门，而且还不止一个人。那时候想着孩子小，可怜孩子，也就忍了。后来儿子七八岁我们就去广州打工，又是和厂里面的女人瞎搞被人家的老公打了一顿，那个厂也不能呆了，他就直接回老家了，我还继续留在哪里打工。谁知道他回老家后变得更明目张胆，直接领小姐回家，被儿子捉奸在床，可怜十多岁的儿子什么都不懂，还被他呵斥。再后来就是我去上海做钟点工托人帮他找了个厨师的工作，因为不在一起住，也不知道是什么情况，干了两年多人家把他给开除了，后来帮他找工作的那人告诉我说是他和厨房间的阿姨搞在一起，影响特别不好才把他开除的。再换工作就离我租的房子很近，所以也经常回去。最开始还正常，后来我就觉得不对劲，有一次我偷偷的跟着他，竟然发现他就在我们住的附近也租了房子，而且是和一个19岁的女孩子。。。。。。一次一次。我总是考虑着闹大了怕丢人，怕儿子结婚受影响，所以一直都忍着。  而且他从来不给家里一分钱，任何开支他都不管，问他要零花钱他都不给我。我想着自己也在上班，就没和他计较。现在儿子结婚了，孙女也有了，他还是不改，让儿媳妇帮他调手机时被儿媳妇看到他和别人做爱后拍的裸照，还有暧昧的短信。儿媳妇说他为老不尊，他反过来把儿媳妇骂了一顿。我帮儿媳妇骂他，他气不过就要和我离婚，我在儿媳妇儿子的支持下，同意和他离婚后，他就直接离家出走了，而且说坚决不会和我离婚的，如果我去起诉，就让我赔偿他的损失，因为我没有实际的证据证明他是过错方，他也可以反咬我一口。这种情况，我该怎么办？？？