自愿离婚后我二个孩子都归女方抚养，现在想要回一个孩子。

我们于2008年领证，其间共生育一女一子，女儿5岁半，儿子3岁半。由于我们二个人思想和意见难以统一，经常吵架，慢慢造成隔阂，最后导致二个无话可说。于2015年2月2日在民政局办理了离婚证，因之前女方多次要求离婚，其2013年3月，还有2014年9月都有到衡南县民政局办理，但因双方协商没达成就没办理成。第三次去民政局因前二次的不胜其烦，这次受上二次影响，所以这次我不耐烦的同意了，二个孩子全归女方。后来我爸妈知道我离婚后没得到一个孩子非常生气，不管我怎么样死活都要一个孩子，我本就是独生子，但协议都已经签好了，离了也有一个多月了，现在想要回一个孩子，要怎么样可以要回一个孩子的抚养权。离婚协议书上没写我老后子女等赡养问题，及我老了以后子女照顾事项。刚开始我想二个都要，可女方不肯，她就要二孩子，我们本来就没有存款，也没有房产。女方没单位，没稳定工作。我又怕孩子在她那边吃苦，得不到良好的教育和好的生活条件，毕竟她带二个孩子，还要去打工，月收入又低，要是她以后成家，我也但心孩子在那边会受虐。我要怎么样才可以要回一个孩子？还请各位大神支招。