前男友纠缠怎么办？

我和前男友曾经同居两年，因他人品太差我提出分手，他当时发短信威胁我说要让我身败名裂，把我的隐私公布于众，后来此事平息。我来到了一个新的城市，找到了一份很好很体面的工作。两年过去了，过去的伤痛逐渐痊愈，我交了一个新男朋友，很爱我，我们打算年底结婚。可就在前几天，前男友竟然给我打电话（不知道怎么找到我的新电话号码），说来到了我所在的城市，想通过我的社会关系做生意，让我给他帮忙，我断然拒绝了他的要求，并告诉他请不要再和我联系，大家都有各自的生活。可今天他又打电话，我看是他的号码就直接挂了。我现在很害怕，一是怕他纠缠我，让我给他帮忙。二怕我的新男朋友知道这事（我没有给他提过这段经历，因为我很痛苦，觉得没有必要说），破坏我们的感情。三是我现在的工作很体面，如果不答应前男友的要求，他会不会到我单位闹，把我们以前的事说出来，毁坏我的名誉。我这些担心是不是合理，我现在应该怎么办？