我和前夫协议离婚，那时协商孩子监护权归男方，但是现在发现男方并没有尽到照顾孩子的义务。而且孩子由我和他外公外婆一手带大，现在也仍在由他外公外婆带，男方要到一半年小孩子一年级再接走。但是现在每到周末接过去都是丢给别人，他自己都不太管，要不就是带着孩子到KTV玩到深更半夜，脾气也不好，老是拿孩子撒气，基于此，我想要回孩子的监护权，现在该怎么做？