我遇到了无赖

单位同事介绍了一个对象，他虽然跟我不是一个单位的，但是天天都得来我单位，天天都有贸易往来，所以基本上跟一个单位的一样，互相都认识。相处了一段时间后，我发现他心理严重扭曲，而且特别小气，相处期间我手机丢了，他给我买了一个，所以我就也买东西送还给他，就怕有分手那一天纠缠不清。后来我跟他提出分手，他就威胁要去我单位闹，要在同事面前造谣说我俩同居。我一个人外地，能有一份稳定的好工作实在不容易，而且一个女孩子也不想在单位传出这些不好的事情，就想稳住他的情绪，想办法让他讨厌我主动离开我，但是怎么都没有用。他的心理问题也越发明显，我跟女的朋友出去吃饭，他就去砸饭店，因为我朋友抢占了陪他的时间。后来还怀疑我跟一个从来不来往的男同事有问题打了我，就因为我手机里有这个同事的电话号。我觉得不能再跟他拖下去了，坚决要跟他分手，他就总来我家敲门，弄的我连家都不敢回（房子是父母给买的，曾经也想过暂时去租房子）。他晚上敲门我不开，去找保安也不给他开，居然趁我早上上班开门的时候闯进来，跪在我门口不让我去上班，白天也来单位找我，如果我不肯出去，他就丧心病狂的进来找我，还让同事给我带话，为了不让他在单位闹，我只能跟他出去。现在还不停的给我同事打电话，把他能联系上的都打，说我高消费花他的钱，说我跟他同居，说他打了我，跟同事说我曾经说过他们什么坏话，还在单位的办公大厅说这些。这份工作实在来之不易不可能轻言放弃，但是他这样纠缠实在影响我正常的工作生活，而且对于一个刚上班不久的女员工实在影响不好。我该怎么办？请帮忙指导，谢谢！