无赖父亲的家庭报复

08年我高考那年，父亲去上海打工，期间认识一诈骗犯女婊（此女骗了很多人，跟很多人生了孩子，把被人家搞得家破人亡，妻离子散，进过几次监狱，由于怀孕被减轻罪责），09年离家与其同居，10年和12年分别生有一女一子。10年母亲起诉离婚，他未到庭，但当年离婚协议他签了字，法院也判决了离婚。如今，由于家里拆迁，已经离过婚的他，居然三番五次回家去闹，威胁恐吓我妈，昨天，甚至，把我妈打伤了。我哥现在在家，让他回去解决，他装病不回去，欺软怕硬。我老家河南，我哥上海开店，我在南京上班，他就一直纠缠，说是要让他那两个孩子回家，其实就是要我们的房子和钱，关键是离婚协议上他已经签字承诺净身出户，但是，现在却反复这样无赖行径，请问怎么才能制止他！？