这样的讨债合理吗？

我跟我的男友在去年八月份开了个家居用品店，是他投资的，当时他把四万块打到我的账户，因为他不怎么了解，就让我去做。投资金额共四万八，另外八千是他支付给店主的。其中含有一个季度的店租，半年物业管理费，和定金。店铺合同签了我和他的名字，营业执照是他办的。开业之后，他有自己的工作，都没时间打理，什么都让我去做，也是我一人起早贪黑地守着店。只有进货，拿货，退货，对账时他才过来。后来，经营了七个月，他又支付了六个月的租金八千，但是，由于没有钱继续经营下去加上市场不景气和经营不善等问题，做不下去了！我们都有努力寻找解决的办法，但是最终还是钱没赚到，反而亏了，只能把店铺转了出去，拿回了一万块转让费给他。没办法，我也只好去找工作。这时，我们的感情也出现了问题，我提出了分手。他就觉得我骗了他的钱，让我把所以的钱都还他。在开店之前我刚毕业，都没工作，才跟他开店做生意的，当时大家都是为了美好的未来，自愿一起开店的，所以根本没签什么协议。突然让我还钱让我感觉很惊讶！再说亏了又不是我的错，凭什么让我全部承担！后来，他还威胁我说要是不还钱，就告我诈骗罪！真是过分！请问，我该怎么应对呢？