前男友威胁

我和我以前男友分手4年多了，那时候我还在读书的时候在一起的，他是混混的那种人，六亲不认的那种，脾气暴躁，我和他在一起没有多久。就和他分手了。他不肯，就威胁我，说和他分手杀我全家什么的，那时候小很害怕，但是我选择还是分手的躲避了他。但是他没有伤害的我家人，现在4年过去了，我结婚了，我有了自己的生活了。和他只有一次见面，是2年前。听说后来他吸毒做牢了，现在2年多，他出来了。他听别人说，我有点钱，然后就想报复我，他说4年前，就是因为他威胁我。拿刀，被保安拉出去打了。叫我给他个说法，他知道我家在哪里。他找我弟弟，知道了我和我老公的电话号码。我弟弟小很怕他的，然后打我电话威胁我，给4年前的一个说法，说现实看了，不会放过我的 ，还给我老公打电话的，我不知道该怎么办，他会怎么做，请你们帮帮我，给我好点的处理方式，谢谢。