威胁恐吓罪？

我与一家装饰公司签订装修合同，现在还没有收尾交房，但是这个装饰公司的老板非要我付钱，还说很难听的话，还威胁我说不付就带人去砸我的家，我就一直说：收尾后我会付你钱！但是这个老板就一直打来电话骂人，孬种什么什么的，每天十几个电话，非要我付款。本来我是打算付了算了，不想跟他们再联系，但是因为有次发生工人来家里闹事，说装饰公司没有给钱要找我来付，闹得很凶很大，我当时还报警了，所以我提出：要写个保证书给我，保证不会有人再来找我麻烦，否则他承担一切责任！结果这个老板不肯写，现在就天天电话短信骚扰威胁我要付款。这种情况下，我能怎么办呢？都不想跟他见面，怕他搞出人身伤害来。