请问具体的法律步骤应怎么走？

不知道是不是因为我这么说，您觉的多半是我不对，是我想以此不抚养老人？
其实，公婆一辈子没当过家。我惟夫是从。第一步，我因公婆的不悦，抱怨刚刚辞职闲置的丈夫，平时不吭的公公一到此时便也管束儿子。一贯受优待的丈夫开始惟父是从。婆婆没了丈夫给的钱，怪我不上班，见我心疼孩子，婆婆开始以：看孩子我不让，不上班在家闹出门抖擞我的不是。我为此受尽家人和邻居讥笑，便口舌还击（婴儿故意被弄伤也没人理）。我为孩子说婆婆，公婆从不吭，公公只说：孩子当家。第二步，公公主家，丈夫不断走亲戚和门面事，对外公公扬言：儿子当家。我气愤而闹，公公扬言：听儿子儿媳的。夫推给我。第三步：公婆开始每早在大门外扬言：没钱.......大概就是这些，公公和大哥只留着面子关系，实则已翻脸，现我跟婆婆因为孩子的关系，斗嘴乱说，没脸的公公在三年里不断让我丈夫当家，我夫都惟父是从，但就不上班。公公已恨透我俩。夫因此出走。当公公由冷漠忽然热情的说想孩子时，我把孩子单独交给他。他说要出门，我便接回。发现女儿的腿处被针了大包。
我找上门骂，公公一句话不说，抱着不知道的态度，婆婆对外说是长的，言外之意是我弄的。我能以公公曾伤害过幼女为由拒绝他探视孩子吗？