我与男方都是再次结婚，双方各带一个女孩，再婚后我把自己的孩子改为我的姓，男方的孩子已够18周岁在上大学。由于男方单位福利分房，存在利益问题（用我们四口的名义要房，然后跟我离婚这套房子跟我没关系），要跟我离婚。尽管我一再强调他单位的房子我不要，你可以去做公正，将来这套房子都是你自己的孩子的，可他不相信我，一再的打闹，无奈我只得跟他离婚。他单位根本不知道我们这种情况，而且他在夫妻一栏中说我没工作，这样他就可以拿到全额的住房补贴了。请问这种情况我该怎么做？我的孩子跟男方有关系吗？
----------------------------------------问题补充：--------------------------------------------------
我自己的孩子今年13周岁，他的孩子今年20岁。我们是2007年6月领的结婚证。