恶意损坏他人名誉

我和我老公在2013年2月14号相亲认识，在2013年2月26号我跟单位同事在饭店吃饭和别人发生口角打了起来，当时警察现场叫我走了带走了我们主犯，并没有追究我的刑事责任。实发后我告诉我老公了这个事！他并没有因此对我表示不满！我和丈夫在同年7月26号领证结婚，在10月2号举办婚礼。婚礼后我两人在一起没几天他就回单位上班了 我在家！后来出了过了一个月我也回到我单位上班。在14年1月10号我和丈夫吵架（因他有出轨迹象）我去找他时被抓，13年打架的事。被判有期徒刑10个月。这个事情也花了不少钱 ，丈夫并没有为我出相关费用，只有一次公婆给我存了500元的生活费。他刚开始还去看我，后来干脆就不去会见了，我在14年11月10号释放。（这期间有次我给他打电话听到了他旁边有人）释放后。我发现我的qq 微信还有我们的婚纱照都被老公删除！想想我忍了，毕竟我进去10个月他在外面也不好过，出轨正常。想不提此事慢慢把感情培养好。可是我释放没两天，他提出离婚。我不同意，他就恶言刺激我说些难听的话，最后闹到我父母也知道了，他还叫我从他家搬出来（因为是农村一直跟公婆住）我回到自己娘家。我当时一分钱没有跟家里姐姐借了好多钱。在我刑期这期间他把我婚前赠予的彩礼存折也拿走了！离婚他只同意把我的彩礼钱给我然后叫我净身出户！我不同意。俩人现在就这么耗着！可是就在昨天一些风言风语就传到了我的耳朵里，村里的部分人都传言我进去了，还传言我偷情被丈夫抓到了非要和我离婚，我还不离！因为爸妈年纪太大，受不了这刺激。我想咨询一下我现在要怎样捍卫自己的权利和名誉！！！