被人污蔑打小孩怎么办？

事情是这样的，国庆期间某天，丈母娘娘家亲戚的一个小孩在我小区玩，他看到我怀里十个月大的宝宝时候，立马朝宝宝头顶打了一拳；我很凶的让他到一边玩去，不要欺负小孩，那小孩就立马回家了，和我见面不到五分钟时间。
    过去半个多月后，听到了这个流言了，他们家人到处造谣说那天我这么大一个大人竟然抽了那小孩一耳光，小孩脸上五个手指印；还说看在亲戚的份上不告我什么什么的，严重损害了我的名誉。当时仅有我老婆在场，她作证我没有碰过那个小孩，但是没人信。请问该怎么办呢？报警能解决吗？他们只是大嘴巴到处传，但是没有当面说过我。能起诉吗？好像又没什么拿得出手的证据，只是造谣。