我该怎么做才能咽下这口气？

我和丈夫结婚有三年了，由于没有孩子，现在面临离婚。
婚后一年检查出卵巢肿瘤，进行了开刀和化疗，之后身体也一直不怎么好，都没能怀孕，期间压力很大，并患有抑郁症，由于身体和精神状况都不是很好，加上丈夫急切想要孩子，我觉得好烦，便时不时会回娘家住上一段时间，期间我也跟他提出过离婚，不想再耽误他的时间，想给彼此一个解脱，因为我觉得对他有所亏欠，所以想来个好聚好散。可后来种种迹象让我发现他有了外遇，有一天，我想回家取些衣物，不曾想门被反锁了，我怎么也开不进去，我知道他应该在里面，可是他就是不开门，我拼命按门铃，打他电话，过了十多分钟，他终于把锁打开了，我进了门，发现屋里有个女人站在窗边，若无其事，我顿时火冒三丈，开始骂她，让她走出来，她倒是笑眯眯地好不得意，还在那嘲笑我，“说我自家门都进不来。”还说：“我让他给你开门的，可是他不肯开”之类的话，好像她是这个屋子的女主人似的！我当时听了她的话气不打一处来，正想冲上去打她两巴掌，被我丈夫拦住了，他就这么护着她，让她离开了。随后我坐在沙发上真的好气，我对他说：“我原本是想跟你好好解决的，现在没那么容易了，我不想这么便宜你们！”他却说不离就不离，你又能拿我怎么样？我到底该如何保护自己的权益，其实到了这份上，我也不想再和他耗着了，觉得没意思，或许离开他我会一切都好起来的。