如何要回女儿的抚养权？

我与他09年3月认识年底12月31日在当地举行了婚礼但是我们没有结婚证。次年2月生得一女儿，生孩子的钱也是由我一人出的。他家里没出一分钱。在月子里也照顾不周，孩子由我一人带大的，他整天在外不关我母女。
孩子三个月时我发现他在外面有女人不只一个，由于有了孩子我想多一事不如少一事所以我选择了忍只要他顾家就可以。可是后来发现我想错了他一次又一次的背叛这个家经常离家出走还把我们的钱拿去给外面的女人用。于是我回娘家住，他又去我家找我回去在他的亲人面前给我保证以后不会再这样了可是江山易改本性难移他又一次的抛下我母女。所以我选择离开他带着女儿过。
为了给女儿上户我不得不去法院起诉他得到女儿的抚养权。可是结果却不是我想要的，本来女儿判给我的可能性最大但是由于当时一些亲人干扰了我的思想，让我跟男方调解。我当时又不知道调解跟判决是不一样的？我一心就是要女儿跟我生活可是不知道怎么的在调解时我也说我要孩子亲人就劝我不要把孩子给男方，因为男方当时的辩状大概意思也是让女儿跟我，他们就想的是我答应给他他也不一定要看看我答应他会怎样？谁知道我在亲人的压力下就答应了给他没想到他也居然同意了。今年5月18日孩子给他后我已经接回来过四次了带了她17天，去接孩子时他奶奶也说过没时间照顾她意思还巴不得我接回家带，还有他们要孩子的一个原因是想把我也喊回去可是那是不可能的了我已经给过一次又一次的机会了是他不珍惜。女儿真的太小了又是长期与我生活我现在真的很后悔把孩子给他想把她要回来我该怎么做呢？女儿现在才一岁零四个月呢，需要人照顾可他家里人根本做不到，爷爷奶奶都要上班祖父又有病年龄大了他爸爸也不能照顾周全也在上班才上了两个月吧不知道长不长。因为他上班很不稳定不知道这次又是怎样？孩子的生活总是不稳定一哈儿这个带一哈儿那个带哈的。我真的看不下去了那是我的孩子我为什么不接她回来呢？他爸爸今年才22岁我今年24 岁了。他爸爸再婚的话更没有时间照顾孩子。我现在有了新的男朋友，他也愿意抚养我的孩子，这边的环境要比他爸爸那里好很多，小孩子上学都比较近。从幼儿到高中都方便。我的爸爸妈妈也愿意抚养我的孩子我家的情况比他爸家要好得多，女儿在我家也生活习惯了有很多小朋友跟他玩耍，但是他爸爸那里没小朋友跟他玩耍，对女儿的身心健康不利。
我可以起诉要求变更抚养权吗？法院会受理吗？变更的可能性大吗？