损害公民名誉要达到什么样才能起诉？

您好，我想请问一下，怎么样才算侵害到别人的人身名誉？事情是这样子的，几年前，我在一家工厂里面面试，当时我也不知道什么原因没有录取上，这个没有被录取很正常，这没什么可说的。可是就在今天，因为觉得这个工厂上班挺方便的，今天我又来到这家工厂面试，结果还是没有被录取。等我准备出厂的时候，我表弟跟我说了句话，让我很惊讶，(我表弟在该工厂上班)他说.怎么人力资源部的人怎么会说你精神有问题。当时我就很气愤，我纳闷了，我好端端的怎么会变成有精神病。该工厂还把我纳入了该公司的黑名单，上面写着我有精神病之类的话。这个我觉得很严重，我才28岁，还这么年轻，就被无缘无故挂上了个精神病患者，这样会影响我一辈子的，这不是玩笑。我想请问，该工厂有没有损害他人人身名誉？是不是一定要经过法律途径来维权？