遇见不讲道理，不要命的人，怎么办？

各位律师，大家好：
由于感情不和，我已经和老婆办理了离婚手续，在离婚协议上明确写明：
“在不影响孩子学习的情况下，男方可探望女方抚养的孩子。(由于距离较远，在节假日和寒暑假，男方可以在不影响孩子的正常学习前提下将孩子接到男方所在地生活，放假后接走，在学校开学前送回，以免耽误学习时间，女方不能以其它理由阻拦。)”。
以上是协议中的原话。
我老婆也同意我带走小孩，由于我小孩绝大多数时间实在她外婆家渡过的，现在假期我去接人的时候，他外公坚决不让，说除非给钱，要不不让接，即使上法院，法院同意接，也不让，除非他死了，如果我偷偷接走，他就和我全家同归于尽。
碰到这种情况，我该怎么办？求教各位律师。