离婚后女方不讲信用，想把孩子要回去

一年前因前妻外遇协商离婚，协议主要写明了6岁孩子随男方生活学习，节假日可在女方生活，孩子读大学前女方以自己经济能力养孩子，大学时各一半（孩子在我们离婚前都在男方生活学习的)
    但在年前女方不太讲信用，刚放寒假孩子去女方时说好了过年的时候让孩子来男方过年，当时女方和孩子都同意，但到年前几天女方的父亲找各种理由让孩子不回来，直到开学。回来后女方都给孩子洗脑了，接孩子回来孩子就说下半年开学到女方去读书。鉴于这种情况，我有权力不让孩子去女方吗，只让女方来男方探望可以吗。虽然写了假日可以女方生活，但也没说必须并有义务去女方啊。 如果今年暑假孩子去女方了，给女方洗脑后就不想回来了，女方也要留孩子的话。我可以在法院去申请强制把孩子要回来吗？
     还有一点，最近女方隔三差五的打电话过来要和孩子讲话，很烦人。我是看在孩子就没和女方吵。我有权力不接她的电话么？