婚姻问题

我结婚两次。第一次是因为我生下孩子后，前夫不管不顾，小孩生病不给看病，借打工一走了之，不给我和孩子生活费，还“恐吓威胁”我娘家人。孩子一岁时没管过孩子一天，我就起诉离婚了，孩子判给前夫独自抚养，我的嫁妆判给我，前夫家也没要孩子，我也没要我的嫁妆。现在，孩子由我独自抚养。
这次我找的丈夫是个单亲家庭，我们一直很好，可是最近我们村上传言从我前夫家传出谣言：我在前夫家懒的和猪一样，什么也不做不孝敬老人，怎么和他儿子打架了的传言。传的我们镇上都是。因为我现在的家对门有亲戚是我以前前夫家的邻居，刚好我现在的丈夫和对门的关系是最好的。最近丈夫老是无缘无故给我开火，给我找茬。动不动就是“离婚”提了好多次了，我气的身体不好了，他也不管不顾了，做法和我前夫家一个样。王律师：我该怎么办才好？ 问题补充：
还有就是，我前夫家人这三年来一直给我们这散布：我怎么不好了，我的家人也怎么怎么不好，怎么不是东西了的。这个问题现在影响了我家和我的娘家的正常生活。
请问有什么办法可以解决