离婚后小孩只让看不让带出玩协商不行我想争小孩子的抚养权

我是五月份离的婚，协议离婚所以都非常简单只说抚养权归男方其它的什么都没写在协议书上，现在我父母去看他说十月一号放假带他到我家玩，对方的爷爷不肯说只能看不能接走，他爸爸没有明确表明但意思也是差不多的，我打电话他不接只有多次发短信协商此事，他平常就是没有主见的人什么事都是听父母的，就连我们离婚那天他都是带上他妈妈一起他一句话也没有，他妈妈一味的劝我不要离婚我就是跟他性格各方面和不来才离婚的，现在出现这事我也不知道该怎么解决此事。小孩一出生一岁期间是我自己带的，满完一岁后我也出门打工了，他爸爸也一直在外打工，前一段时间还说一家人都到上海去打工连小孩也一起带出门我不同意他们说没用，我说放暑假带小孩出去玩孩子奶奶听了就把小孩不出声带到上海去了，我是打电话才发现的，后来给前夫打电话他也不接没办法才叫我表弟打的他才跟我说带去上海了，如果我想重新争抚养权的话机会大吗？我家的生活虽然是农村但基本都比较稳定，我有时候又不想打官司担心这样越弄越僵，有时候被他们这样气得难过，现在还在跟他发短信协商此事，我想约他见面书面协议但他不会同意见面，发短信协商希望他能同意我提的要求，我希望你们能帮我出出主意。