性骚扰

有天我看见我老婆的聊天记录，有个给我老婆发QQ信息，说了好多下流的话，我不在家，我在黑龙江我老婆在山东。我老婆也骂过他，我知道以后我找过那个人用QQ聊天，把他骂了。可是第二天他又去当面找我老婆，说我跟他说了什么，让我老婆承认不是他，请问我怎么办，打他也不是，动手也找不到证据，我有聊天记录，请问怎么办。这个人是我岳母家邻居。