离婚

我老公在我回老家生小孩的时候出轨了，我们在东莞开了间工厂，借了好多钱，别人催着还钱的时候，那个女人借了十万给我老公解了一时之急，同时我老公也跟她好上了。我受不了他对我的不忠，对他从此也不再信任。我们已经有二个小孩子，大的五岁，小的四个月还没断奶，我们开工厂时在我娘家这边借了差不多十万，我现在想离婚，但是他一下子没钱还我，包括我娘家和那个女人的债差不多有五十万。请问我这婚要怎样离才能让我的损失最小。我老公说我想怎样就怎样，我想小孩一个都不要，只要他还我娘家十万就走人，但他说他一时没钱还我，所以我现在是一点办法都没有。请问陈律师我怎么做才好。