孩子抚养权问题

我和老公去年离婚，离婚协议抚养权归他但孩子由我抚养，到高一，今年他返毁说孩子抚养权归他，他不在让我抚养，孩子女孩12岁，上小学，因为他性格偏激。经常喝酒，孩子也不同意和他在一起，请问我门的离婚协议是否因为他的反悔而无效。他死不讲理不叫孩子和我一起生活，请问我该如何维护离婚协议上的权利。