经济问题

我是一个离婚人士，我和我前妻是同学，结婚后我们还算和睦，我们于2000年生育一女，于2002年购买了我们单位的职工房，由于当时没有太多钱，所以房款和购买家具妹妹出了很多的钱，目的是想把爸爸妈妈从农村接出来，后来2003年我爸得癌症，2007年我爸爸离开人世，在爸爸生病期间我们矛盾开始到最后离婚，也在这个期间她基本就不在家，外出打工，爸爸的事她基本不过问也从来没有给家里有过资金的注入爸爸离开也没有回来在我们这个家她就好像不存在了，包括女儿的开销也不管，这几年我和妹妹在爸爸的治疗上花了20多万，还借了很多钱，等帐还差不多了她也出现了，我们于2011年初办理协议离婚，房子归我们婚生女所有，但是她在里面加了一个很苛刻的条件，说我不能带别人回家居住，为了离婚我答应了，现在我面临一个问题，我妈妈在给我带小孩，我和现在这个又生了一个，由于我们工作上原因这个后面生的儿子也要妈妈带，我也会和我现在的妻子经常回家看老人和小孩，这样我前妻就以带人回家居住为由要求解决，我由于不知道这样情况怎么处理，望给位老师给我建议