离婚后我单独抚养孩子，但是前夫每次看孩子都挑刺找事

我经济条件好于男方，离异后一门心思带着孩子生活。但是从今年开始男方每次看完孩子总挑刺，什么穿得不好吃得不好孩子生病。。。。，甚至经常和孩子说我乱七八糟的话。一方面我看不起这种做法，但是这确实对我和孩子生活带来困扰。闹到最后一次看孩子的时候，我是报警才接回孩子的。在派出所的时候，对于他的探视权，我请他在规定时间做规定动作，我和孩子的生活是我们的事。他说不可能！
既然不可能，不用见了。我现在等着他去告我来裁定他到底应该怎么探视孩子。
请问，我这么做影不影响我的抚养权？