离婚了抚养权归男方，但是他不让女儿上学

因男方外面有女人，和男方离婚，小孩归男方抚养，但男方没有在家照顾五岁的女儿，而是与那个女人在外租了房子住。女儿自从离婚后由女儿的爷爷一直照顾并且支付一切费用包括上学。今年暑假男方把女儿接去他的租住房，并明确说明要想看女儿就必须把房产证上的名字改成他的，不然休想看到女儿。并且打电话直接了当的和我说暑假两个月休想看到女儿。一直到九月份开学，我联系上男方要求探望女儿，询问女儿是否上学，她说没有去学校。当时我就联系男方，男方口口声声说在上学，但是经查实，我女儿确实没在上学后，女儿的爷爷把小孩接回了家，并且报了名。女儿接回家后，在交谈中得知男方白天上班出门口那个女人就要求我女儿跪在地上，不听话就打，或者拿一盆水把我女儿的头往水里按。相信这是事实，一个五岁的女孩是编不出来这种话的。现在的问题是自从接回爷爷身边后男方试图再次将女儿带走，关键是带走了又没有给女儿上学，女儿天天在家待着学不到任何东西。我现在已经有家庭了，我可以要求把女儿抚养权要回来吗