女方在男方法律意识淡薄的情况下，一直钻法律空子要钱，该怎么办？谢谢！

各位律师你们好！
    我爸和他的第二任妻子离婚后，他们在协议上写明财产分配给女方的房子的债务需要共同还债，但女方口头上承诺只要男方离开那个房子，就不用男方偿还债务。（当时两人虽签了离婚协议，但感情还是很好，都没很在意那个协议上的条款。）过了没几年后，女方听说男方家里拆迁能拿点钱，就违背当初的承诺让男方偿还离婚后这一时间段的债务。请问男方应该怎么办?
   当初为了买这个现在已经给予女方的房子， 女方当初一直怂恿男方对自己的女儿不管不问，最后不给男方家的女儿交学费，以至于逼着那女孩在校申请退学。当时女方怂恿男方不管自己的子女的理由是“一个原因是：女孩已满18岁，已经是成年人，不用在供其读书。另一个原因是：家里买房贷款，需要偿还债务。”
   请各位律师帮帮我和我爸，谢谢!