孩子不让我探望我该怎么办？

你好，律师。我和我前夫于2007年6月认识，12月办理结婚，随后一直和他父母住在一起，2008年11月我生下儿子，他是跑长途运输的，2/3的时间都是在外，他父母忙着生意，我基本是靠自己和我爸妈将孩子带大知道上幼儿园，这其间的辛苦肯定是不容置疑的，后来因为公婆过度地干涉我们的生活和工作，我和他的关系走到了离婚的地步，由于考虑到他家的条件比我家优越我把孩子的直接抚养权让给了他，我们协议好我每月出300元的抚养费，分两次付清，离婚时已付给他25000元，每月探望4次，带孩子不少于5天，刚刚2013.7.1号办理完离婚手续，现在他爷爷奶奶无理得拒绝我去探望儿子，说既然离婚了就不要再进他家的门，我进去他就将我轰打出来，我现在不知道怎么办，我若起诉有用吗，难道每次我去带儿子还要执法人员跟着才能见到儿子吗，我很苦恼，希望律师能够帮帮我。