我应该怎么离这个婚？

我和丈夫是同届的，丈夫高中毕业务农，我上了大学，2000年他被骗到广西做传销，还和我借了1800元学费，后我发现是违法的叫他回了昆明，并在昆明祖房打工，有过短暂的工作，期间包括假期回老家用的钱基本上是我垫付的。后我毕业回了老家，因他生性多疑又自卑，有时又很自大，我在2005年时曾玩了一段时间的梦幻西游网络游戏，他就在我同事和家人面前说我网恋、裸聊，当时我总被无聊的同时取笑，心里很不舒服。我也确实在和他吵架想出门旅游散心时见过两个网友，都是可信的有过电话交谈的成年的异性朋友，其中一个是退伍的，一个是政府部门上班的，因他们的介绍我去了他们介绍的城市，都有过短暂的见面，但是绝无不良男女关系，（其中一次我出门时丈夫也在旁边，我也告诉了他要出去走走，不想和他吵）丈夫总以此为由辱骂我，冷嘲热讽。对此事我也解释过多遍，并让丈夫打电话去证实，他不去证实，只是一味的以他的猜测和我冷战。因为丈夫的身份证过期问题05年只举行了婚礼而没有领到结婚证，当时是因为我在三个月左右两次堕胎（第一次是因为参加篮球比赛导致流血不能存，第二次是因为事隔时间短），所以我约他赶快举行婚礼的。结婚证直到07年女儿出世前才领到。08年7月开始，他和我教过一年并和我关系密切我也较为器重的一个学生发生关系，在此前两人就一直喜欢打闹，但作为学生我没有在意，两人之间的事我是09年7月才知道的。08年那段时间，因为他外面有女人，对我态度极其恶劣，经常夜不归宿，因为他是以带孩子为由在我身边的，所以天亮我去上班前，他有时回爬阳台进家（租房，房租一直是我一个人承当），一段时间我们分房睡。而工作原因加上孩子还在哺乳期，我从来没有去跟踪他，问他他也是有很堂皇的理由，有两次醉酒回家时，他提出离婚，我让他自己写协议书，我去上班了，他没写，也就不了了之。不知道为何，我月子期间根本没有得到他和他父母的正常照顾，他经常含沙射影的和他木请说话，我一直情绪低落，抑郁。（我剖腹生女儿期间外婆去世，母亲没有来照顾我，生了孩子快30天了婆婆和丈夫也没帮我洗药澡的意思，生了孩子十多天我就自己洗尿片等），09年我偶然发现他手机中存有他和那个女生的性交视频若干段，时间刚好是他说不愿意见我，没有时间来接孩子放假的时候，他跑去保山和那女人幽会。照片和视频，加上两人的QQ聊天和邮件（以老公老婆互称），他当时说是为了报复我，我那会儿很想一刀两断，但是因为孩子太小，我也不想孩子成单亲家庭的孩子，没离，他和那女生写了保证书给我。事隔两年了，他还是经常无端找茬和我吵，孩子上幼儿园，有一学期多公公来带孩子，他老说我虐待老人，不孝顺老人，我不知道公公是怎么和他说的，但是他可以几个星期不问孩子的情况，也不和我联系，我的电话他也不接，说不想听见我的声音（可能是因为他骂我时我爱理论吧），公公一阵说我嫌他家穷，一阵又说我是压嫁他家，说我们早就应该分开了。我现在睡眠很糟糕，经常午夜3点多还不能入睡，而因为工作性质，早上6点半就要起床，长期抑郁，我老把事情往坏处想，常常会想到死，我可能患上了抑郁症（没有确诊过）。我没有住房，暂时交了押金住在单位周转房（押金3万是我母亲帮交的），感觉很累，我想放弃这段婚姻，我不知道这样的情况我该不该和他离，该怎么离？希望有人能半帮帮我。谢谢！