这是诈骗吗？

您好，我经常去北京出差，在一家小宾馆认识一个人。我炒股票，开始他和我搭讪，我 不理。后来经常在一个宾馆熟悉了，他就对我说我在做煤炭生意，很赚钱的，他说他要是赚钱就给我20万，让我抄，赚钱算我的，赔了算他的。开始我不信任他，后来接触多了，知道他为了煤炭这个事情在北京已经一年多了。而当时我自己的生活有许多不如意，就相信了他的话，他把我的银行卡号要去，说是赚钱就给我打到卡上。之后他向我说他的现状，他是单身，没有工作，原来工作，他停薪留职了，做生意没赚到钱。现在在北京，家里弟弟妹妹不支持。后来他管我借钱，我看到他每天在做事，他的事情也就是联系煤炭厂家还有卖家什么的，不像是无事混混。我相信他借给他1000元，他说事情就要成了，成了，我借给他的钱算作投资。之后他缺钱就给我借，每次1000或者1500,2000不同，我一共借给他14500元。他给我打了借条，还给我写个协议说事成之后给我分成。现在，他借的钱到了还款日期，可是他还是没有还钱，说事情没定在北京他不能走。他得回江苏老家给我去筹钱。说实在不行借高利贷还我，可是现在我觉得他是个骗子。因为他根本没有偿还能力，还说他有钱在弟弟那里，都是谎话。我现在想要回我的钱，我应该怎么做？他是不是诈骗？