我跟我老公结婚才两年多，两人是通过恋爱结婚的，后因生活问题要两地分居。我带着宝宝跟父母生活在一起，他一个人在外打工。刚开始他还会每周回家，但后来就不愿意回家了，而且我也发现他在外面有了女人。在我发现后他没有表示什么，只要求离婚，他说如果我不愿意离的话，他连宝宝的生活费都不会再付给我。还说如果我不同意，分居两年后他一样可以上法院申请离婚。我爱他，也想维持这个家，我应该跟他离婚吗？
----------------------------------------问题补充：--------------------------------------------------
他已经跟那个女人同居在一起了，我可以怎样为自己跟宝宝维权呢？ 我跟他各自有自己的工作，我在经济上没有依赖过他。他现在连儿子的生活费都不愿意付。对儿子连最基本的关心都没有。