请求指点迷津

我家有一邻居，年近70，丧偶，有四子，六孙；该老汉患有肺病，目前是早中期；他经常强占和我家接壤的边界，多次谩骂甚至上门挑衅我的家人。目前，他又强占我家一块土地，并扬言要在春节趁我们一家人回家之际和我们拼命。他说，他有病，又没有依靠，就是找个下家。之前，我的家人一直忍让，并提请村委会解决，村委会总是一再推诿，以此事是小事为由不予解决，并要求我们替他让步。目前，我觉得人生安全受到了威胁，请问律师，我该如何维权？村委会的行为属于不作为吗？一旦出现冲突，我该如何是好？谢谢。