别人误读我的意思，造成别人荣誉的损害

几年前村委会把农村集体土地给卖了，但是征收款还迟迟未到，2015年2月份，在朋友家聚会吃饭的时候，朋友问我咱们村的地该怎么办？我说都签字了，他又问，谁签字了，我就说出了这个人的名字，没有加称呼，上届村委会共有3个人，其他两个人由于已经不是村委会成员，所以我没提他们的名字。我的意思是这是村委会成员该管的事情，不是我们的责任。但是我现在才想明白，他们表面上是问地怎么样，其实是问钱怎么样，但是他们听后以为征收款迟迟没有发放是这个人做梗，好多人都议论纷纷，我现在知道这个人在卖地的那一届村委会中是会计，在新一届村委会也就是现在这一届中是村委书记，我说签字的意思是地都卖了，但是集体土地征用不是都要签订协议的吗，我只知道这个人是村委会成员，并不知道这个人的身份，现在由于好多人议论纷纷，前缀都加上我说的，这个人声称自己受到了很大的伤害，要告我，请问我有罪吗，如果有罪我该赔偿多少？ 
这个人说我诽谤，造谣陷害，要我赔偿精神损失堤，他的家人，亲戚们都来找我算账，请问我该承担什么样的处罚如果我有罪的话，他的家人，亲人们堵在我家门口，好多村里人来旁观