我可否起诉父亲诽谤

您好，父亲和母亲2002年假离婚，之后还共同生活，一直相安无事，直至2015年我们发现他在外面找了个东北女人，之前并没有和母亲了断这段感情。几番接触后发现该女人对他另有所图。我们和爱人劝父亲不要和他再接触，要和母亲真的合不来找一个真心对你的，相伴余生，后来它不仅不听，和该女人关系更加密切，还到处和邻居街坊们说他和母亲已经离婚找对象是他的权利，我们不让他搞对象。还经常找茬跟母亲要钱和房子（房子是公房，各自名下都有，但他要母亲自愿把母亲名下的让给他使用），之后多次发生口角。他到处和别人说我和家人暴打他，说我想倾吞家产之类的。邻居们现在看我们都是异样的眼光，我想请问这种可否起诉他诽谤。