关于是否可争回孩子的抚养权问题

律师好：
    我与前夫于07年协议离婚,当年孩子三岁几,由前夫抚养;我本来争要孩子的抚养权的,但前夫威胁我如果你要抚养权就上法庭,而且还要公开我有外遇一事(如果不是他因犯罪而入牢三年的话,我也不会爱上别人;后来他出狱后被他发现了，就向我使用暴力，甚至辱骂我很厉害，从此我就害怕跟他接近，他还到我单位吵闹，还总是骚扰我、威胁我，我当时很烦恼就决定与他离婚，可是我们俩都想争孩子的抚养权，他说如果我要孩子的话就上法庭还要公开我的丑闻，还要到我家去闹，我当时被他折磨得我不行，恨不得马上和他离婚，所以就同意了和他协议离婚，孩子归他抚养。可是离婚后没隔一年他就再婚了同时也有了孩子。对于我的孩子可以说他从没有尽过做爸爸的义务，孩子出生才20天他就因盗窃罪入狱三年，他从没有和孩子一起生活过，我带着孩子一直到一岁半就放到老家跟着奶奶生活，我就出来打工，放假我都有去看她。
    我们离婚后孩子一直跟着姑姑生活，前夫还向我朋友说把我们的孩子给她姐姐当女儿，据我所知他再婚后就从没有想过和我女儿一起生活，他与他现任妻子均以未婚登记结婚的，然后一直在广州生活。所以我的孩子很可怜，爹妈都不在她身边，自从离婚后第二年我去看过孩子一直都没有去看过，因为我是广东人，而女儿在河南省老家，我也因为身体不太好所以没有去看她，经常打电话回去给她奶奶都不让我女儿接电话或者用其他借口推辞，我很苦恼。所以在这种情况下我能否要回孩子的抚养权，我自己还独自在外打工，我妈妈还年轻还可以带孩子，如果能要回孩子我一定竭尽所能抚养她的，请律师们多多费心帮忙解答一下，谢谢！