请问聚集起来侮辱精神有障碍的人犯罪吗? [提问有了新的回答]

我爸年纪大了,脑子开始衰退,精神不太正常.

家周围的那些农村婆们吃饱没事干,而且人品本来也很恶劣,所以就有事没事会聚集起来谈论侮辱我父亲,甚至还延伸到我全家.

好像今天其中一个乡下婆就很大声的说(他们聚集的地方一般都在我家隔壁或者对面,所以大声点的话,我家就可以听见了.):那个颠佬(这是广东话,意思跟骂人时的"神经病"差不多)什么什么的...然后就说到了我,说我可没有疯啊之类的话...还有其他很多的,比如还说我母亲==反正都快骂完我全家了.

我不是忍受不了这些无缘无故的辱骂,关键是他们聚集起来就为了做这些事情,一起合伙取笑,侮辱...这是我忍受不了的.

我在想他们这样的行为够不够成犯罪啊?或是违法?如果会那么一般会有多大的惩罚?

最后我如果想要告他们的话,需要取什么证据吗?找证人比较难,因为他们都是蛇鼠一锅粥