我与李某是工程合伙人的关系，2015年与李某在青岛承揽工程，我只负责签合同搞关系

我与李某是工程合伙人的关系，2015年与李某在青岛承揽工程，我只负责签合同搞关系，他负责人员和工程具体施工及公司申请款（有我出具的受涵书与公司结算），不管亏赢我每平方米提5块（工程款付至80%我的提成付清），剩余的有他自己支配，李某到2016年8月份工程一直未完工，其中李某每次申请款未给我一分提成（原因是工程正在施工中用钱的地方多我理解），当时我还有自己的工程也叫他帮忙一块做，按日工结算，还有其他费用共计6万多，我已写下欠条，工程总面积7000平方，应有我3.5万（没有给我钱），由于李某自己认为工程款有问题，应自己人员安排问题，导致工程能按规定日期完工，公司向我处罚5万罚款，并且工程到现在还未做结算。到2016年10月份，李某告诉我他有6万元的贷款到期，要我帮他还款，我当时想都一块怎么长时间了能帮就帮帮吧，可是我自己没有钱，问朋友问公司帮他想办法，最后没有借到钱，他说让我给他写6万元利息欠条并把6万元的本金也给他还了算我俩两清了，我一气之下就把他拉黑了，他还发短信要挟我。现在过年在即，李某在老家闹事不走，我和他说可以走法律途径解决，他也不听，我该如何保护自己，保护自己的家人，谢谢解答