男方有精神病，协议离婚，孩子归男方抚养，女方能否要回孩子的抚养权

我是四川人 ，男方是广东湛江人，因2009年与男方在四川结实，2010年怀孕，发现男方有精神病，2011年生下一名男孩，生下孩子一个多月办得结婚证，与男方生活了6个月，之后带着孩子去四川老家生活，孩子一直是我带着吗，但有给点孩子的生活费，但一直有精神病，一直吃药控制的，直至2013年1月因男方有精神病，思想心里行为非常懒惰，不肯工作，因与他没感情，向男方家庭提出离婚，男方家庭只有一个要求，就是孩子归男方，我同意了，直至2013年6月5日在我四川人民法院拿到了民事调解书，孩子归男方抚养，当日孩子就被带回了广东，男方带孩子几个月了，也不去上班，思想心里行为一直很懒惰，家境情况也是农村，孩子两岁零5个月也不带孩子去上幼儿园，男方一直吃着精神病药，根本没能力养孩子，我们家里人因与孩子感情很重，想孩子跟着我们生活，不管家境生活条件，心里健康都要好，于此我们很想要回孩子，夺回抚养权，谢谢你的帮助