楼下邻居多次上来踢门辱骂和闹事该怎么办

几个月前楼下邻居说我们三岁的小宝宝走动太吵，发出声音让他无法忍受，然后就上我们家门口砸门，说些很难听的话来进行辱骂。为此事报过两次警，也去小区居委会调解过。我们也在地板上专门放置了很厚的海绵地板，平时也尽量轻轻走路。但毕竟是居住场所，难免还是会有细微的声响（如走路声响或小物件不小心掉地上）。
    但最近演变为：我们在家中没有发出任何声响（当时都坐在沙发上看电视），他依旧冲上来踹门和大声辱骂，说我们地板又发出了噪音。时间都选择在晚上8，9点多，不仅打扰了我们家作息也惊扰了其他邻居。而且时间一长，我们还担心大门是否也会被其踢坏。现在我们的困惑是：
1，多次沟通下来（包括民警和居委会的调解），他不是讲理的人，正常沟通没办法解决。
2，如果他踢坏了我家大门，我们是否可以对其进行索赔？但是家门口没有装摄像头，如果他否认其行为，我们还有什么办法？
3，我们家中也是有老人和小孩，不堪其扰，是否可以追究其精神赔偿？
4，如果与其争吵过程中发生了肢体接触，对方先动手打人，我们还手属于正当防卫吗？


各位律师大人，我们自问是讲理的邻居，对方闹事，我们也在家中做了改进，不与其正面交锋。但对方反以为我们软弱可欺，多次上门挑衅，无中生有，大晚上的实在不堪其扰。我们请求最合理，正确的自保方式，求律师帮忙指点！