这种情况能否起诉非法入侵住宅，起诉的话胜诉的机会大不大！

因交通事故，在交警队处理事故责任还没出来！对方家夫妻两人到我家大吵大闹，并对来往路人诽谤我及我的家人。其间对我的家人有言词恶劣的辱骂，其丈夫更在现场扬言要找人对我及家人施行暴力报复。在我要求其退出后，仍拒不退出。我拨打110解决，派出所安排本村干部过来调解，对其劝解仍不退出，后本人又拨打了一次110说明情况。最后在天黑后无人搭理对方二人，才离去，并扬言以后天天来家里闹事。我家在农村现在在翻建家里后屋，如果天天来闹事，这房子建设会遇上很大的麻烦，且我父母忙活房子的事已经很累这样严重影响我家人的休息！ 
请问这种情况我能不能到法院起诉其非法入侵住宅罪，如果其再次实行上述行为我再提起诉讼是不是胜诉的几率会更大些！
很急，希望各位专业人士能给我点建议！