我该如何维护自己

是这样的，因一不小心没忍住，与别人的老公产生感情而发生了关系，本来是准备及时制止的，因为我自己也觉得不道德，还没来的急制止，被他老婆知道了，后来他老婆经常发信息辱骂我，恐吓我，我该如何维护自己，我并不想继续也并没想破坏别人家庭，其实我也是受害者，但因我自己毕竟偷了别人的男人，所以一开始她骂我，我都是诚心接受道歉，可是后来她总是以一而在而三的辱骂恐吓我，到我单位闹及损坏我的名誉，请问我该如何维护自己。