对于孩子归属权与离婚判决

堂姐先前与前夫因为感情不和后离异，然后认识了在同一个地方上班的现任丈夫，通过与现任丈夫交往，在一段时间后发现自己已有身孕双方协议结婚，婚前因为男方承诺家里什么都有，而且会对女方负责，所以堂姐就同意了。但是结婚以后，以至于孩子生下来以后，孩子就是随女方父母长大的，现在孩子都四五岁了，可是男方还是不知道顾家，喜欢喝酒，赌钱，吸毒，还时常家暴，结婚几年了，孩子都已经开始上幼儿园，一直都是跟着女方父母生活，他也没往家里拿过多少钱，甚至还经常向我堂姐要钱，孩子基本上的花费，都是我堂姐承担。因为她老公有一点社会背景，堂姐一家都是农村人，没有多少文化，他经常威胁我堂姐（有时候还当着我堂姐的面直接威胁她父母），我堂姐实在受不了，就独自去另一个地方上班了，本以为分开以后会好点，可她老公又经常怀疑她没有正经做事，经常口出粗言，更是拿孩子作为威胁。因为女方父母很喜欢孩子，而且不希望孩子在这种环境下成长，经过多次劝导协商无果后，就悄悄的带着孩子离开了东莞（堂姐家人和她老公上班的地方），这也是无奈之举。回到了四川，因为结婚后女方并没有迁出户口至河南（男方是河南的，结婚的时候有争议，所以一直没有迁走），现在男方又非要带着孩子，而且发短信打电话骚扰恐吓。家里想通过法律途径来断定孩子归属权，而且有效避免男方的骚扰，请问应该怎么做呢？