我在今年因为跟我老公吵架，他去外地做事了，一直不理我，我碰到了去年的一个同事

我在今年因为跟我老公吵架，他去外地做事了，一直不理我，我碰到了去年的一个同事，开始是觉得还蛮谈的来的，觉得他对我非常的关心，当时只是抱这多交个朋友这样的心态认识了他，然后在他的要求下我们见面了，就这样慢慢的我们后来发生了关系，这种事情有过一次肯定后面还会有的，不管每次他要我都说我有事情，我很忙，反正找借口，可每次都在他的威胁下又跟他 ，我不想这样下去，我老公慢慢开始对我好，这时我才发现我老公和这个家庭对我来说很重要。可他每次都用如果他需要我的时候我不去，他就毁掉我的家庭，让我老公知道我们的事，他原来是一个二流之人，还说学了斜术，我知道他在他做得到的。可我又不想被我老公知道这件事，我知道我老公要是知道这件事，不定会做出怎样的举动。我要怎么才能摆托这个人，这样才能摆脱他的威胁，我该怎么办