遭到邻居的骚扰，我们该怎么办

记得我小学时邻居老来我家闹事，我们根本没有理他，就因为看不顺眼我家。有一此把我家的玻璃砸了，后来就和他打起来了。最近又有一次拿着刀来威胁我爸爸，后来我爸爸正当防卫没有受伤。我很害怕，他老欺负我们家，对我心灵造成了影响。时常担心会再来吵闹，怕伤害我的家人。我该怎么办。可以采取法律措施吗、难道一直被他欺负下去吗。