男朋友无端猜疑并打电话给双方家人说我和老男人开房间能不能告损害名誉罪

和单位人一起吃饭，男朋友喝醉了，打过来电话，看我还没回家，就辱骂我，说我是不是和那个男人鬼混，我让旁边女同事解释，他不听还骂人家，我气得把电话关机了。他立即打到我们家，质问我母亲：“你的女儿在外面喝酒，和40多岁的男人开房间你不管吗”而且说让他一个警察朋友去看了，在某宾馆。妈妈知道我和单位人出去了，就把我男朋友的电话挂了，结果他不停地打，而且辱骂我婊子，还骂我母亲，我回来看到母亲在哭，我立即打电话给他哥哥解释，他还是不听他们家人的劝，最终他哥哥把他电话摔坏才罢休。第二天他带哥哥姐姐到我们家说我喝醉了和别人开房等等，我们坚决要带他去调宾馆的摄像记录，并把那个警察朋友叫来，他不从，也不让报告派出所。最后双反家人让他拿出证据，他也不啃声。妈妈很生气，去他单位找他，让他还女儿清白，他还扬言要告我，怎么办啊