被他人诬陷，我找当事人对质后，诬陷人还骂人，我该如何处理

我是一个70几岁的退休人员，本人退休后一直在居委会义务任职。今年本单位房屋准备要拆迁，因拆迁问题，大家意见不同，大部分人联盟签字不同意拆迁一些问题方案，我也和大家一起签字了，现在有人去居委会说，是我做头动员大家签名，我到居委会证实我是被冤枉，并没有指证任何人做头，诬陷人对某些人说，我去居委会汇报他人动员大家签名，说是居委会主任亲口告诉他的，当事人十分生气找我，并指责我，我叫他们一块找诬陷人对质，诬陷人不敢对质，我就找居委会主任问清楚，居委会主任告诉我，他没有说，而且见都没见过那个诬陷人。主任昨天去找诬陷人，诬陷人回来就在大众场合骂我，和我吵架。诬陷人居然还理直气壮欺负人，看我一个70多岁的老人家好欺负，请问律师，我现在该对这样的人怎样处理解决问题。希望能尽快得到律师的回复。谢谢