与养父断绝父女关系

我在结婚时就怀孕了，可是我没有告诉我的父亲，我的母亲是个残疾人，不会说话听不到，有点抑郁症，我的养父脾气不正常这就没有告诉他原因，后我答应吧我八岁的弟弟带出来照顾让他上学，后来出来了我就告诉他怀孕可是他不开心让打掉，因为他说你有了自己的孩子怎么能把弟弟照顾好啊，就一直坚持让打掉，一直说不让打掉，就让我向公公婆婆要两万块钱给他，我没答应，在我怀孕期间他隔三差五打骚扰电话，各种恶心话骂我，甚至拿半晚两三点给我打电话说我母亲死了，还打电话让我听他打我妈哭的声音。直到后来我生孩子把弟弟带回去给他了，他也就不让我管了，在坐月子期间他去我家砸墙闹事把我打了还揪了我的头，说给我要六万块钱抚养费就算断除父女关系了。可是家庭条件不允许拿不出那么多钱，最后没给，他说家里又困难需要点钱开销，我就让我老公送去三千块钱，他要了，可是他还不领情，后来我就带着孩子多出来了，之后又打电话闹要十万块钱，还说这十万块钱是你跟你妈的抚养费，从以后我就跟你没关系了。没给他吵了之后三个月没有闹过了，后来他知道我生病住院就打电话说你怎么没死啊，孩子没死啊，说整天就盼着你们死哪，对我姨说我不要我母亲了，我着这期间偷偷回去看我母亲两次  还买了些礼物给他们，现在他打电话威胁我说只要我回老家他就打死我，杀了我跟我的孩子，我现在想断绝父子关系应该怎么办？