丈夫自我怀孕时就离开，我生下女儿来一直未抚养责任，现在说要上法院起诉离婚，并要女儿，我该怎么办？

我与他是2007年7月在河南省荥阳市登记，2009年我辞去工作从广西去到他家里，他家里是河南省一个周边农村的，在他家休息了两个月后我到郑州找了一份工作。本来他也在一家私营企业打工的，但是自从我去到郑州后他就一直不工作，而且他用信用卡透支，欠下银行几万元，被银行起诉时，他背着我和我家人借了几万元来还债，但是都没有还完他的债，当时我们投资了一个生意，每人从信用卡里取了1万多元进行投资，但是我没想到，他欠的钱这么多，他一直都不工作，拿信用卡的钱来用，我一点也不知情，虽然很生气，但是后面还是帮他还债，除了他问我家人借的钱，我用我们投资得的钱一直帮他还，他又不工作，我每个月只有一千多元钱，除了房租，吃饭的钱都不够。
    我家人见我这么困难，叫我回广西，但见状求和，我为了那一纸婚姻，又原谅他，我妈给我钱投资做生意，他却不怎么理会生意，整天吃喝玩乐，被我骂多了，就来做此杂事，但是一年后，我的生气做亏本，他见状立即说要回郑州，说要回去找工作。可是那是我已经怀孕了，但他根本不理会，决然的走了，我怀孕十个月，一直都是一个人，他没打过一次电话来问，一直都是我打电话给他，打50次，只接一次，我亏本，且欠有债，身无分文，他置之不理，怀孕很能吃，我一直都靠着我家，实在没钱了，发信息给他，他很无奈的分两次寄了2000元来，10个月，我身无分文，他就给了我2000元，快要生的那个月，我打他的电话无数次，但他都不接，最后打给他家人，他才在我要生的前5天过来，陪我生完，也没有什么安慰解释的话，呆了20天，我还没坐完月子，他就走了，一直到我女儿10个月了，他都不来看一眼，也没给钱，更不打电话来问。我很无奈，找不到他，打他的电话他也不接，他家人说不管，没办法，我只有上网以“搜人”的方式找他，终于，他在6月28日回话给我，但一回话就说：“你在网上发这些消息，损坏他名誉，让我等着被起诉”，我妈很生气，但还是耐心的问他为什么对我们母女不理不睬，他回答说他正在努力的找钱，忙，所以没空打电话，也没空接电话，说总有一天会和我联系的。因为找不到钱，所以不想接我电话。现在因为看见我在网上搜他，现在他二话不说，就说要起诉我，离婚，而且要要回这个女儿。我想请问一下，像他这样的情况，算不算遗弃?我能反告他遗弃罪吗？离婚了我可不可以要回我妈借给他的钱，有欠条的，我能不能要赔偿？谢谢了！