律师您好： 我与前妻离婚离婚前她就将孩子带回娘家不让我和我的家人探视，我俩经过西宁市中级人民法院调节协议离婚，协议规定：孩子又前妻抚养，我每月支付500元抚养费，并且规定我每月有四次的探视权，但是到现在一年半的时间我们都没有能见到孩子，每次去探视都被拒之门外，并且受到前妻及其家人的谩骂甚至殴打。由于双方矛盾激化，期间我也没有支付相应的抚养费，后来前妻申请执行抚养费，我将半年的抚养费交至大通县人民法院，并要求行使探视权，当时法院同意不执行探视权就不将已交的付药费给对方，但是后来执行庭的又继续交抚养费。于是我与上月申请强制执行，但是大通县人民法院以没有办法强制执行为由拒绝执行。 请问我该怎么办，才能保障我的合法权益，行使探视权，法院的不作为行为是否合法，如不合法，该如何追究其责任?
----------------------------------------问题补充：--------------------------------------------------
我也查过相关的案例，好像法律有规定不能强制将孩子带给我们，但是可以对对方进行拘留或者罚款，是不是这么回事？