孩子父亲对孩子不管不问，我该怎么办

和这个男人在一起七年，生了一个儿子，儿子出生后发现他有老婆有孩子，我心里痛苦到极点，他跟我在我们家也举办了婚礼，当时因为他说父母不同意我们在一起，让先办事再领证，说是办了事他家人就同意了，因为我父母也急着让我们办事，就这么过去了，我知道他已婚的事实后要求他离婚，他也答应我了，说一定给我一个交代，给他他老婆摊牌后他老婆不同意，拿重婚罪威胁他，因为他是公务员，怕自己工作丢了，就选择抛弃了我跟孩子，当时孩子才出生三个多月，我每日以泪洗面，觉得活下去的勇气都没有了，其实什么重婚罪我不在乎，因为我不知道他结婚了，但我为了让他保住工作，保住自己，选择了放手，他家人同意一次性支付我30万抚养费，然后孩子18岁以前不再支付任何费用，我也同意了，他说30万给的不多，但他家人不同意给我太多，自己承诺抚养协议外每年再给我两万块，连续给我五年，总计40万，说是以后在他家人不知道的情况下会尽自己最大努力帮衬我，我都信了他，可现在的问题是，他老婆怕他跟我联系跟我见面，就威胁他不让见我们的儿子，认为付了30万就得跟我和儿子断绝所有关系，他老婆到处跟别人说自己守了七年活寡，永远不会成全我们，但我已经同意分手了，她还是逼着孩子的父亲，不让看看孩子，也不让跟孩子有任何关系，就因为她出了30万，这是我不能接受的，因为我们有七年的感情在，她没有权利剥夺我儿子享受父亲关爱的权利吧，他老婆弄了一个霸王协议让我签，我也同意了，但她要求孩子的父亲以后不能见儿子，也不能做孩子的父亲，从此老死跟我不相往来，我不同意，有什么办法能解决这个困境，我不想儿子失去该有的父爱，我在想，如果真是逼急我了，30万我不要了，我就要他离婚，如果不离婚，我就去他单位也告他，现在因为我可怜他，怕他难做，我什么都依着他，但他不能为了保自己，就牺牲自己的亲生儿子吧，求解，有什么方法让他老婆不逼他吗，我儿子不能这么小就没有爸爸了啊。
看一下这个协议，这个协议他发给我说是他老婆同意了，家人也同意了，我这一周准备给他签，可他家人出尔反尔，又去找了律师修改合同去了，总之就是要拿这30万制衡我，威胁我，这协议书其实就两条内容，第一拿了30万就不准在要钱，否则全部返还，另外不准去他单位揭发他，举报他，否则返还30万，呵呵，这家人真是极品。协议书

双方自愿分手，本着对孩子负责的态度，两人经协商同意，决定将孩子交由______抚养，自愿达成如下协议，双方愿意共同遵照执行此协议：
一、双方一致同意          的抚养权和监护权归甲方； 
二、乙方自愿支付小孩        抚养费、教育费、医疗费等费用总计人民币        _______________(大写)元。乙方于2016年   月   日前一次性支付给甲方。甲方收到乙方支付的上述费用必须作为专款用于小孩的生活、教育、医疗等方面开支，不得挪作他用；
三、乙方付清上述费用后与甲方以及子女的抚养、教育、医疗等再无任何关系，亦无须承担子女年满十八周岁之前的任何费用。甲方不得再以任何理由要求乙方支付任何费用。若甲方违约，则甲方需返还乙方已支付的所有费用；
四、甲方向乙方保证，在乙方按协议约定支付小孩抚养费的情况下，甲方及其亲属不得向有关部门或个人举报或者泄露该事情，不得骚扰乙方的工作和生活，如甲方违反本条约定则甲方需返还乙方已支付的所有费用；
五、乙方保证其与家人在任何时候都不得骚扰甲方和小孩的生活；
六、甲乙双方均具有完全民事行为能力，上述协议内容均为甲乙双方真实意思表示，对自己的意愿及本协议内容负完全责任，本协议经甲乙双方签字后即生效，双方必须遵守履行。
七、本协议一式二份，甲乙双方各执一份，效力相同。
甲方：                               乙方：