请各位帮帮忙，感觉自己好像被讹了。

事情是这样的，2011年，我认识了一个小姐，说来也难听，因为没有结婚，所以当时与其发生过关系后，觉得她对自己也蛮真诚的，就彼此会谈谈心，听到她的家庭很不幸之后，我一时脑子冲动，向他丈夫摊了牌，想以此来让她丈夫珍惜她，如果没能力珍惜，希望他不要再让她出去从事卖淫的事，结果他丈夫打给我电话，告诉我，说我破坏他的家庭，叫我等着他，他会来收拾我的，他们是湖南的，我是浙江人，在江西吉安开店，他丈夫知道了我店的位置和店名，我现在想想觉得很后悔，本不应该去管他们的事，现在只希望他不要过来捣乱，或者害怕他过来打砸，请问这件事情该怎么处理比较好？ 觉得自己好像被讹了一样，现在也搞不清楚对方那边的具体情况。。脑子里冲动的想他过来打砸，要么我报警，要么和他拼了。请律师帮忙指点一下，谢谢。