被网友前妻诬赖成小三

我和网友认识三年中，网友认识女朋友，到结婚到离婚。之前，网友说比较喜欢我，可是我因为已经结婚等原因很明确得拒绝了他，后来他们结婚后，我们几乎也没有联系过。去年，网友在QQ上告诉我他们正在闹离婚，女方以家庭暴力起诉了他。之后，我们见过一次面。之后他离婚了，要求我也离婚，我就删除了他的QQ，两人再无任何联系.事情都已经过去半年了，他的前妻打来电话，非要我承认自己是小三，欺哄，威胁，离间等等，每天打无数次电话，发短信，还要来我单位闹事，我已经被骚扰了一周多，无法工作，生活，不知道自己该做些什么，也怕她真的来单位闹，我岂不是有口难辩？请给我建议，我该怎么办？！