我能要回儿子的抚养权吗？

我是去年协议离的婚，当时儿子3岁，儿子归男方抚养，离婚是男方补偿我两万元，要我把户口迁走，到现在为止还还差我一万所以我没迁移户口，男方因此不让我见儿子，这一年多来我以前的婆婆经常打电话告知我男方不想要抚养权了，因为他已经再婚并生了一个女儿，并且他现任妻子对我儿子很排斥我前夫因此对我儿子很冷淡。我儿子一直是他爷爷奶奶在抚养，他没有尽过做父亲的责任。