能申请更改孩子的抚养权吗

去年协议离婚时孩子由男方抚养，我一次性支付6万元抚养费至成年。男方说孩子他会带在身边他在西安工作，，口头说好可以随时给孩子打电话，过年回家我想接孩子回家过年都可以。所以协议书上只注明可随时探望。今年男方结婚的对象女方不愿带孩子，就把孩子留在祖父母身边，而且不让我到家去探望，去一次孩子的叔叔动手打我，所以我只能到幼儿园去探望，可她奶奶只让我在幼儿园跟孩子玩会，孩子今年才3周岁半，想让我带出去玩会，可是老师说没办法，她奶奶会过来指责老师。孩子经常不会读老师教过的字，爷爷奶奶都是文盲，没办法教她。而且孩子经常哭着跟老师说别的小朋友有妈妈接送，我没有，我听了真的心疼。请问我能以孩子的父亲把孩子留给父母抚养对孩子的成长不利，和不让我探望为由，起诉更改孩子的抚养权吗？或者是能定一个固定的日期让我探望带孩子回家过几天吗？迫切请求您能给我帮助，一个社会的弱者。我将十分的感谢。