你好！我和老公是在在2013年9月16号协议离婚的，当初是他背叛我和别人的女人在一起

你好！我和老公是在在2013年9月16号协议离婚的，当初是他背叛我和别人的女人在一起，我们才闹矛盾离婚的，但协议上写的是感情不和协议离婚的，那时女才一岁零两个月，协议上女是判给我的，他自己说每个月1号付女800元生活费，可是离婚后他前面几个月给了800，后来就没有按时给了，都是有钱就几百，没钱就不给，我也不去问他，现在女两岁多了，他和那个女的没生孩子，他现在想要起诉女儿的抚养权，我不想给他了，我要怎么保护自己和女儿的抚养权？我和他生这个女是做试管婴儿的，他出的钱比我出的多些，这些对他起诉女儿的抚养权有影响吗？我现在找了个男朋友都还不敢去打结婚证，怕影响到我争取女的抚养权，他就自己做煤渣子生意，收入也不稳定，我是个打工的，在当地卖衣服，收入2000左右，和女住在我爸妈家，我爸妈是做早餐生意的，他爸妈是在家务农的，去年端午节我带女回他家，晚饭我到他姑姑家吃的，女在他家吃的，他爸爸不要我回他家，后来晚上吃完就回家了，他找的那个女的给我发短信说晚上去他家睡，我开始抱着复婚的心态，后来看到短信倒回他家，结果真的看到那个女的在他家门口穿着睡衣和他爸妈聊天，结果我打电话找他，他一家人都不准他出来见我，后来他爸妈知道了，喊我老公把我和我女儿的衣服都拿出来了，我想自己到房间拿我自己的东西，他爸爸都不要我去拿，我老公和他爸爸还打了我，要我带着女拿着我的衣服走人，就这样我再也没去他家了，彻底死心了，我老公现在又想要女儿的抚养权，可能因为那女的没怀孕吧，他想要回抚养权，那女的自己有个十多岁的女儿，也是离异的，那女的和我前夫打没打结婚证我就不知道了，童律师，求求你帮我分析，他能顺利起诉女儿的抚养权吗？我不能失去女儿，我是输卵管堵塞才和他去做的试管婴儿，他现在就是觉得做试管婴儿我出钱比他少，他想要回女儿，可女从小吃母乳到现在一直是我带在身边，我上班就是我妈妈带的，还有一点，我前夫喜欢到宾馆玩，也有吸毒的现象，我不想把女儿给他，真的舍不得，也放心不下给他抚养，女的户口去年就已经迁到我户口上了，各位律师，请你帮帮我吧！谢谢了！我想深入了解子女抚养权的知识，万一他起诉我怎么办？