我被无赖缠上了，他说让我丢工作，要控制我，或者和我一起死，我该怎么办？

我在网上认识一人，见面之后他人很豪爽，和其他的朋友关系都很好，他没有正当工作，认识半个多月，他打电话向我借钱，他说他欠人家6000多块钱，人家给他最后期限是明天中午，他当时说的很惨，电话里听着快要哭了。最后我就个他取了5600，他说一个月内给我还。他说给我打个欠条，我说不用了，结果一直没有还。他对我很好，其实我也没打算让他还。他经常带我去他家吃饭，晚上就住他家。后来有过一两个月，他说他做生意，和家里人借了些钱，现在还差10000多，问我借借，我又借给他了5000块，同样没打欠条。后来因为其他原因，生意也没做成。他是一个很挥霍的人，我看他花钱大手大脚的，后来我就感觉他花的我的钱，他不心疼，可是那钱是我辛辛苦苦挣的，我都舍不得吃穿用，借给他他却这样挥霍，也不提还我钱的事。后来我感觉他是在骗我，我决定不和他联系了，他说他早就不想活了，要和我一起死。后来他说要来我单位闹，他说让我把工资卡和身份证带上，我听见这话他原来是要钱，我就和他协商，最后又给了他40000，说好了结此事，可是他还是老给我打电话，我烦得不行，不解他电话，他就发短信说让我等着，要和我一起死。我说不是说好了给你40000，就放过我吗，他不承认。我说既然这样，那你把钱还给我，他说当着我的面把钱全烧了，然后和我一起死，我很害怕，和他说钱我不要了，我们也不联系了，我们都好好过日子，他不愿意，还是老缠着我，还来单位找我，最后我想可能是没有好好的和他当面说清楚的缘故，所以就想当面和他把话说清楚，结果当面说什么他都听不进去，我和他打了一架，没打过他，他抢走了我的手机，说要把我关起来，关上几天，我找了个机会逃了出来，一直躲着他，他知道我上班的地方，他打我单位的电话找我，烦了我好几天，我不接他电话，后来他说他有我领导的电话（他抢走了我的手机，上面存的有领导的号码）。给我领导打电话，找我们领导，还说他在单位门口堵我，然后一直跟着我，实在不行就让我上不了班，在我单位大闹。让我丢工作。我很珍惜我的工作，同时很在乎名声，我该怎么办啊？