前夫肆无忌惮地探视孩子该怎么办

我们已经离婚了，孩子归我抚养，我也不是不让他看，每个月甚至不到我都会让儿子给他打一次电话，甚至一个月还让他带回去了呆了几天，可回来后孩子不吃不喝，感觉他给他买玩具，还定好以后买好多，让孩子好几天过不来，也不愿去上学了，更气人的是，这个人变本加厉，只要他想看，就不管孩子怎么样，不停的向我的父母打电话，我和孩子已经从老家出来了，为了生活，我在上班，可这个人总打扰的我们不得安生，我好苦恼，像摆不脱的魔咒一样，离婚协议上财产的问题他不执行，我现在还在起诉，看孩子他到是行使的很多，由于我们相隔两座城市，不可能这么短的时间就让他看一次孩子吧，我快疯掉了，我该怎么办，我是不是应该不先让他看了，让他去起诉，等待法律的判决，否则我的生活真的没有了出路，跪求各位专家，指点迷津，谢谢！