这个问题应该怎么处理呢

夫妻自1986年结婚直到2011年无结婚证，2011年夫妻俩计划买房，补办结婚证，且双方同意写男方的名字，但在实际操作中，遇与男方同名同姓的人在银行有不良行为记录。为了顺利买房，双方听从别人的主意办个离婚证，离婚也只是说明从表面上离婚，但实际生活中仍是夫妻关系，以女方的名义买房。买房后，确实感情如旧，无任何最少无严重的感情破裂。可是好景不长，2014年7月中旬起，女方与在微信上结交的网友见面多次，由牵手到拥抱、接吻，9月1日中午在长青路莫林洒店发生性关系。因男网友小于女方（48岁）12岁，男方认为吃亏了，9月4日便以出车祸为由向女方借钱，女方害怕男网友的恫吓，便将此事告示知其夫。后女方直言（以前女方开个这样的玩笑：房子是我的，你滚开），房子是二人的，一人一半，要离就离。现男方想离婚，但男方认为：女方有错在先，责任在女方，房子理应归男方。房产是女方的名字，但真要把房子划归男方，在法律上很难行通，就此离开，便吃了大亏。想咨询，有不有办法，从法律上或者其它渠道把房子要回来。