男女双方都是二婚，女方婚前带来一女孩，婚后生育一女孩，婚后购房屋一套（首付大部分是由男方亲戚借的）

男女双方都是二婚，女方婚前带来一女孩，婚后生育一女孩，婚后购房屋一套（首付大部分是由男方亲戚借的），现男女双方闹矛盾签下一份离婚协议书孩子各带一个，每月房贷一人一半，因未带齐证件没有离婚，后女方去外地工作，两个孩子均有男方及男方父母照看，女方偶尔电话问候，不给予费用（仅给大的个孩子交学费），房贷也不出一分钱，推托她生意不好（好像去外地开了个按摩店）。矛盾有大半年了房贷一直由男方还，男方要求离婚，女方说什么都不回家（个人觉得她在那边是有其他男人的，只是没有证据），一直拖起，男方现在无力偿还房贷，现在男方该怎么办？