我前段时间喜欢上一个已婚人，但不存在经济和对为公开同居的行为，只是会一起谈谈心，一起吃吃饭，玩玩而已，这事被他的配偶知道，我也同意选择退出，可他的配偶还认为我和他的家人藕断丝连，就不断的给我打骚扰电话，还给我公司同事散布谣言，导致我心里受不了辞职了，甚至把我叫到他家对我实施暴力，最近还到我的住处来大肆喧哗，破口打骂，我可以用什么手段保护自己，还是我这种第三者根本没有法律可以保护