因房产纠纷造成的人格侮辱

最近因为房产纠纷问题闹得不可开交,我爸是独子,除此之外有五个姑妈,我和我姐和我爸妈一直住在那个我奶奶拥有的老房子里,因为牵扯过户问题,我爸想继承,其中有四个姑妈放弃,小姑不放弃,坚持要十万块补偿,当然其他姑妈也有支持我爸的也有支持小姑的,在这个纠纷过程中,小姑忽然说给其他姑妈说有人给他从网上征婚,并且过了一阵一段时间说他楼上有公安,而且人也查出来了,还说这个人不是我姐,因为我姐得性格干不出这种事来,他知道是谁但不想追究此事,但是没有明确说是谁.这件事建立在我爸给他10万块之前,很明显他的矛头指向了我,间接诽谤摸黑我。
    因为当时我爸不知情,为了快点继承,把10万块给我小姑妈,他也立字据了,放弃,现在我们法院的调解书也下来了,后来我的几个姑妈也有打电话或者面聊询问我爸我有没有征婚,造成我很无奈.我是清白的,并且我有两个姑妈的电话录音为证,证明有此事,并且我的四姑妈在电话中亲口说小姑说查出来的那个人是我.但是事后四姑妈听到这段录音属于他的录音后为了不惹是非光承认有征婚嫌疑犯查出来了,但是不承认那个人是我.说当时是口误,现在他们所有人都承认有征婚一说,但是都不承认小姑亲口指认我.我想在房产纠纷案件中,像这种极容易引起误会的事,他又不说是谁.他有没有犯诽谤罪?我应该怎么办来维护自己的利益?