他构成诽谤罪吗？

您好！事情是这样的。我跟我老公结婚七年了，已经有了两个小孩。在零九年的我老公不在家，他的亲弟弟（还是单身）因为吸了麻古和冰毒有些神智不清的时候要求我跟他生个小孩，他就这辈子都不结婚了。还说要同他哥哥一起抚养这三个孩子，我没同意他就一直说我偷汉子。更气愤的是：我现在已经怀孕七个多月了是我老公的。前几天我老公的弟弟从广东回来看到我又怀孕了跑到我婆婆跟前说我肚子里的小孩不是我老公的，而是他姐夫（我老公的妹夫）还说他有证据证明。过了一天叫他拿证据他就说还没到时候。接着我婆婆信了他的话，叫我老公带着两个小孩包括肚子里这个小孩去做鉴定。这已经严重的影响了我的婚姻，家庭还有名誉和人格。请问我应该怎样去维护我的人生权益，他能构成诽谤罪吗？我应该怎么做？