遇到这样的婚姻财产纠葛该怎么办？

我们是二婚家庭，老公和前妻是2004年结婚的，05年共同按揭了一款住房，按揭20年，至今还有10年未还款，因女方朝三幕四，结婚时就发现她有出轨迹像，后来有所收敛，13年又被发现在外面找男人被男方抓到，后引发离婚，当时儿子才三岁。离婚协议是这样写的：儿子归男方抚养，房子产权归儿子所有，由婆婆、爷爷、父亲居住到儿子成年，房贷由女方支付两年，两年后由男方支付。没有写任何抚养费和教育费。没离婚时女方很少管孩子，成天只顾打扮自己，在外面玩耍，离婚后故意三天两头来看儿子，来找我老公。现我已怀孕一女，预产期在年底，她知道后跟我老公提出不许我在这个房子里生小孩子，影响到她儿子了，否则叫大家不得安宁，要双方都住不成这套房子。当时离婚协议上没有写我和女儿的居住权，是否我真的该搬出去吗？我也是她儿子的监护人，意思是允许我做，不允许我女儿住，她这样说这合法吗？我老公不愿意惹事（也许他向女方借过钱，没跟我提过），让我到老房子住，儿子才5岁，成天要跟着爸爸，我们到老房子儿子也会跟着过去，婆婆爷爷因为在照顾我坐月子也会过去，老房子比较小，住不下这么多人，她前妻就是故意为难我们。我们该怎么办