他外遇不回家怎么办能让我们娘俩的伤害降到最小

现在孩子1岁5个月，他在孩子8、9个月的时候外遇，并在外和第三者同居，那女人期间做过一次流产。他没钱，只有一室一厅的房子一套，在我们结婚证之前购置。他的名字。因绝对不起我，在他和第三者同居期间跟我签过欠款协议，内容大致是：因他与他人同居给我精神补偿8万，分8年还清，我写的，他签字并按手印。那贱人是外地的，我知道她电话号。（不知他家里号，所以想告诉她家理人也没办法）。现在我先要4万，就离婚，剩下的他打欠条。他说没钱，要想要钱等2年在离。那贱人说刚毕业先不结婚，等2年。孩子小没人看（婆婆已去世一年），我在家带孩子，他每月给我们生活费。（其实我知道等两年，他也给不起我补偿）那贱人的家里人还不知道具体情况。现在等于是听那贱人的，他给我们生活费，等那贱人给他家里挣2年钱。这末过我真的很憋屈，自己又没有什么好办法，请律师告诉我该怎末班.谢谢