我跟他是协议离婚，我什么也没要，独身出户的，但我们有个小孩，离婚时一岁两个月

我跟他是协议离婚，我什么也没要，独身出户的，但我们有个小孩，离婚时一岁两个月，现在一岁半了，孩子给他的。我现在想要回孩子的抚养权，他家人一直对他忽冷忽热的，他一个男人家怎么能照顾的好小孩，他妈妈总是以上班为由，不回来带孩子，他爸也春节才回来，但是他爸爸又带不好小孩。他一个男人家如果带小孩儿的话，又没法上班，对小孩的照顾肯定不好，我们是2015.11.30离的婚，从离婚到春节前一天，他一直把小孩丢在我娘家，时不时的来看看，每天就是打麻将喝酒啊什么的，不是我不愿意他把小孩丢在我家，只是我觉得小孩儿既然已经判给他了，他不但不好好照顾，还整天到处跟朋友聚在一起，我实在看不下去了，我家的条件要比他家的条件好些，我可以努力的去挣钱给孩子一个好的环境。请问小孩现在该属于哺乳期年龄，我可以要回孩子吗？那我要怎样才能要回孩子的抚养权？