有一人三翻四次的来我家闹事，我家又刚刚在建房子，后面那人先把我家人弄伤了，后面打了他

一个有精神问题的人三翻四次的来我家里闹事，第一次我们没有理他，他就一个人在哪里骂，然后第二次大清早的又来我家里骂我家人，然后我家人就叫他走，结果他不走还把我家人打了，我家人也打了他（只是把他按在地上），后面邻居就把他敢走了，第三次我家人骑车去上班，在路上看碰到他，他把我家人的车给踢翻了，还压伤了脚，然后就把那人给打了，可是打后的一星期内拿着一张单子来说是我们打的他，要赔钱给他，可是 在打后的几天里他天天都从我家门前过，一星期后就说手断了，要钱，医疗费单子上花了四千这样吧，他非要我们出一万的。面对这样的事我们该怎么办。