人身安全算不算受到威胁

今天下午我在家里带小孩被租住在旁边的人给莫名其妙的骂了好多难听的话，还说“不要以为你是女人老子不敢打你，老子收拾不了你，老子收拾你老公，都是外来的人，想死人是不是？你不让老子在这住老子也不让你在这住，他妈的老子臭死你、、、”等等好多，当时我和周围住的人都不知道发生什么事了，他们也觉得好象在骂我，后来听说好像是下午有人来查卫生，查了下他们租的房子（他们是做从各个市场收那些别人不要的臭肉，每天过来过往的人都说很臭），我从来没和这个男人发生什么矛盾，只是之前和他女儿因为小孩的事，我打骂了自己小孩，但我并没和他们人吵骂过，我也早就没在意这事了，他今天这样让我觉得自己的人生好像受到威胁了，但又不知道应该怎么办？我老公回来，他也说别人又没指着我正面骂，因此不好说什么，我老公走后他们把自己的车故意停在那还说不让我们把车停进来，我又经常带小孩一个人在家，所以现在我想咨询一下，现在这种情况我应该怎么办？