我是做工程的，拿了一处双飞粉、乳胶漆工程给别人做，我给对方结了总工程款百分之九十

我是做工程的，拿了一处双飞粉、乳胶漆工程给别人做，我给对方结了总工程款百分之九十，但他迟迟不来干活，在公司追工期的情况下，我也找不着对方的人，打电话他也不接，偶尔他接一下电话和见一下他本人，两个月内都是这样，最后我联系不上对方，我就找人去做了，但现在对方提出找我算账，我跟对方有一份协议写的是，如果在公司指定完工的提前一半时间内不完工，我有权终止一切协议，并把剩下的尾款拿来赶工，现在对方常威胁我和打扰公司领导，我想请问我现在应该怎么办。