有人上门打人还恐吓不给赔偿费就让我们没法做生意

今天去一个客户家催款，三番两次都推脱老板娘不在，没钱，好不容易今天是老板娘说可以过去借款的时间。过去那边又获悉老板娘不在，只有采购的小姐，因为一些沟通问题跟采购小姐吵了起来，中间因为本人口头禅问题提起了两句“他妈的”结果遭到对方工厂保安暴力对待，给打了耳光，可我忍着没动手。忿忿不平回来了。可到晚上突然接到采购小姐老公的电话，说我今天又打她又骂她，要我给个交代，我好话说尽说我就是说话大声了点，不是故意要这样说话的。可今晚他们几人来到我店门前踹门，逼我开门，要交代。二话不说就踢了我的工人。然后才跟我吵，这个时候因为我怕他们捣乱已经提前打了报警电话 当时有村的治安队员三人也在场，看到对方踢打人却不拦着。对方还来了几个凶神恶煞的人，等治安队员走后他们就恐吓我要给哪个采购小姐精神损失补偿什么的，还限定了几天时间，说到时不给个他们满意的条件就让我没办法在这里生存，保证店铺只能关掉。我给吓呆了。不知道怎么办好。我从小到大还没跟人打过架呢。求帮助，急~~~~~~~~~~~~~~~~~~~~