离婚妈妈给孩子改名字为何这么难？

我与丈夫协议离婚了，协议里孩子是这样安排的；婚后生有一子，2008年11月27日出生由女方抚养，孩子所有的生活及一切事物由女方安排，男方不得干涉。男方不需支付抚养费，但孩子发生重大疾病男方自愿承担一半的费用。男方看望孩子必须经女方同意。离婚后孩子需跟随女方姓陈。```离婚时我没有拿他们家一分钱，只是带着孩子出来。他说孩子可以给我，钱他是一分不给。其实我很无奈，我只是一个普通的农村母亲，没有稳定的收入，但我相信用我的双手可以给孩子挣来幸福。如果孩子给了他们，会被他们教育成没有仁义道德的人，孩子这辈子就完了，想到这我就觉得心酸。```我现在想给孩子改个名字，可户籍部的人说必须孩子父亲一起来。难道离婚协议无效吗？孩子父亲特意从外地回来提出离婚，离婚后就走了，我怎么办？一个人养孩子本来就不容易，谁能帮帮可怜的母亲？