非婚生有一子，三岁，因男的经常不务正业，经常家暴，喝酒，赌搏

非婚生有一子，三岁，因男的经常不务正业，经常家暴，喝酒，赌搏，拿刀威胁自己父母及孩子母亲，故女方选择离开。分开后其还纠缠不清，一会闹说要把孩子扔给我们，过几天又闹着要回孩子，分开后，还经常喝醉酒闹事，拿刀威胁他自己的亲人，他的家人都怕他怕得要死，父母都不敢回家，报警也报了好多次都没用，现在又闹着要把孩子给我们这边，但他父母是不愿意的，他父母十分愿意养孩子，可男的死活不同意老人养，直接从老人手上抢孩子。我们女方这边也愿意给抚养费，但他怎样都不肯，就是要把孩子给我们这边，他是想着孩子在我们这边，就可以让我们免费帮他带孩子还能拖着女方结婚，方便时不时过来我们这边闹。女方这边也不想要孩子抚养权，但可以给抚养费，因为一来，孩子给我们的话，女方这边没人帮她照顾，去上班孩子照顾不了，不上班又没钱，二来怕孩子给到我们这边，他会经常来闹来纠缠，我们也害怕呀，现在我们每天都过得心惊胆颤的，就怕他哪天跑过来，严重威胁我们的人身安全。请问这种情况怎么处理比较好，我们的想法是能不能直接跳过男方，剥夺他监护人权力，直接将抚养权给孩子爷爷奶奶，孩子他们帮带，我们女方出钱（当初女的离开，男的父母是完全同意的，因他们知道他儿子是怎样的性格，再待下去命都没。还有，我们的经济条件稍微比男的好点）