消费维权

半年前，我与一家无框玻璃商家签订协议。在签订合约时付全款50%，协议还约定在货到后付款40％。商家后因为在设计，材料，运输过程损伤等各种问题（因为商家的疏忽40％款项未付款），多次协商修改无效后，在一次电话中说：“我不做了！”我要求他重复一次并按下手机录音功能，他照做了。第二天，我找了另外一个商家，但因前加商家的钢材颜色特殊所以，只是简单的做了一下（影响美光）。并且我告诉前家厂商因为他违约不做，所以我以及另外找别人做了。我和女二入住（女儿才14岁）家里就我们母女。半年后他的工人多次上门并与我发生争吵，我表示合同与我签约的人才有权和我协商，那天晚上我们拨打了110他们离开。第二天也就是今晚，与我签合约的人来，说我的录音有假，是我先说的不做（事实上是他先不做的）。请问我应该怎么办，他上门两次，前次威胁说拿刀砍我，以及等等威胁性语句，并且离签约已经事隔七月。总款6500，也就是我还差3500