被人拿家地址威胁我与他在一起。

本人今年34岁，一个看起来四五十岁的老头一直追求我，每次我拒绝他 他就用我家的地址来威胁我 说我如果不跟他在一起 他就和他师兄来我家。每次提出跟他分开的话题 或者吵架他都是这样的。我本人是有老公孩子的人，这他也知道。就是几个月之前 他硬要我去他家吃饭 我去了一次身份证在他家忘记带回去了，他就是看了我的身份证 从那之后知道我家地址之后 老是已我家地址威胁我 说我如果不跟他在一起就怎么样，每次他跟我说啥 我只要拒绝他 他都会发这样的短信恐吓我。请问律师，我这个情况怎么办，如果某一天他真来我家闹事怎么办。报警有用吗？