我们没有结婚证离婚，孩子（男孩七岁）由男方抚养，我有探视权，寒假

我们没有结婚证离婚，孩子（男孩七岁）由男方抚养，我有探视权，寒假，暑假可以跟我住十天，时间，地点，次数两个人协商，我不服判决，我本人在北京，很久才回来一次，之前男方父母不让看孩子，我才告到法院，结果法院那个书记员都是向着男方说话，我也就没有上诉。我跟男方商量好什么时候接孩子，接的时候男方父母不让接，我就跟他们吵了一架，然后男方也就不让接了，男方没有主见，只要他妈说不让我接走孩子，无论怎么协商都不行，男方现在大同市又找了一个媳妇，几乎不回家，孩子上一年级就送到了寄宿学校，半个月才回一次家，回家也是跟爷爷奶奶一起生活，我问过孩子愿不愿意去大同跟他爸爸一起生活，孩子说不想去。孩子在校期间，男方跟他父母从来没有去看过孩子，也没有打电话关心过孩子，孩子衣服他们也不给买也很少洗，孩子穿的很旧也很脏，有的也很小，都是我前年给孩子买的。请问这种情况算不算男方不尽抚养义务，我怎么才能变更抚养权？