我老婆在外地打工遭人胁迫上床，现在老婆回家说出此事，时间己过两个多月，因没有任何证据没法起诉。因考虑老婆名誉问题迟迟没去公安机关报案。男方的家和我们家距离2公里，现在造成我们夫妻心里压力很大，没法正常生活。我曾经找过那个人，那个人态度十分嚣张，让我们去告他，现在我们夫妻俩该怎样去解决此事。