现在我不想再让他们见到我儿子了，我该怎么办？

请在此输入您的问题，祝您的问题早日得到解决！我和老公协议离婚了，我门有一个男孩，离婚的时候孩子才两周多点，离婚协议书上清楚写到，孩子由女方我抚养长大到孩子满十八周岁，男方每月支付孩子抚养费1500元，直至孩子十八周岁。
        孩子从出生就一直是我自己在家带大的，爷爷奶奶从未管过一下，就连孩子出生和我月子里他们都不曾看孩子和管我，我大部分时间是和我的孩子在娘家生活的。
      我们虽然离婚了，但我们还一直以好朋友相处，后来孩子的父亲由于和他父母的关系想不开自杀了，他去世我和孩子继续以妻子和儿子的身份为他办理了后事，而且他去世后我并没有像孩子的爷爷奶奶要过一分钱的抚养费，一直是我自己挣钱和娘家人的帮助在一起生活。孩子的爷爷奶奶脾气非常的不好，老公去世后孩子的爷爷奶奶也和他们的一大家子闹翻了，断道不再来往了。可他们偶尔也会来看孩子，也会把孩子带出去单独玩我都没有阻止过。可现在孩子的爷爷奶奶突然想要把孩子要回去，带在他们身边生活，我不同意给他们，他们说要去法院申请变更抚养权，我想知道他们到底有没有权利？我该怎么办？我要怎样维护我的权利？我怕他们把我的孩子教坏，曾经那么对我，现在这么没良心，我可不可以要求不要让他们再见到我的孩子？