我跟第一任丈夫有个3岁的女儿，因为感觉两人在一起不合适就离婚了

我跟第一任丈夫有个3岁的女儿，因为感觉两人在一起不合适就离婚了，当时离婚时男方只同意一次性给女儿2万元生活费，女儿由我抚养，当时我也没计较什么就同意了，后来发现一个人带女儿压力太大了，我个人经济能力达不到，我还可以向第一任丈夫提出抚养女儿的要求吗?一年后，认识了现在的第二任丈夫，他也有过一次离婚经历，他有个儿子，归他抚养，我们认识半年以后就结婚了，我们都是盐城人，他在苏州有一套房子，没有贷款。我辞掉了盐城的工作跟他一起来到了苏州，找了半年的时间才找到工作，女儿放在盐城妈妈家由妈妈暂时抚养，相处半年时间，发现他很自私，从来不关心我老家的女儿，经常因为小事不满跟我吵架。离婚我就该这样净身出户吗？