我被人家老婆诽谤

我是在一家港资厂做生产总管助理，由于工作需要经常要跟车间主管接触。本厂喷油部的一个主管和她老婆在一个部门并且是他的助理，我在这个厂已经做了两年了，就在今年5月2日这个主管的老婆无缘无故跑到我宿舍来警告我不要勾引她老公，而且说了很多难听的话。上班后我把这个情况反映给本厂的管理者代表，可管理者代表的答复是这属于私事(本厂是个小厂,管理者代表怕得罪人又不敢处理).后来我又将此情况反映给老板,老板在处理的时候问她有没有证据,她说没有证据,她只是防患而未然.老板最后的处理是让这位主管老婆写了一份保证书(说在没有任何证据的情况下不得任意污辱,诽谤,否则就自动辞职).当时我也是本着大事化小,小事化了也就同意了.可这位主管的老婆安静了几天后,几乎每晚都要跑到各个女生宿舍捏造编排我勾引他老公的所谓的她认为的"证据"(比如,说我于某天写了一封情书给她老公约凌晨一点钟约会,又比如说去年国庆节和她老公订一起的卧铺回家的等等).事实是我和她老公除了工作上有接触外其它没有任何接触.搞得现在全厂的人都在议论此事,一个多月以来我被这件事搞得情绪非常低落,精神状况非常不好.而向厂里反映厂里的答复是这是个人私事要我忍.这件事搞得我心烦意乱,工作,生活全部受得严重的影响,还要受别人异样的眼光.请位这属不属于诽谤?我该怎么办?