在一起多年分手后之前的花费也需要归还吗？

我与前男友2006年在一起当时感情很好，他说要办厂，于是要我向我家人借款帮助他办企业，家里本来也没多少现金，于是他要求我让家里两套房子拿去办按揭贷款办过来借给他办厂，当时家里人也觉得反正我们在一起肯定要结婚的就是自己人了于是就将两套房子全部贷款贷了近五十万借他办厂，刚贷款过来他就先去买了一辆车，后来厂办起来他一直没用心经营，整天不在公司晚上有时候也没有回我们住的房子，都是我在公司为他打理一切。然后他还去外面借高利贷来投入公司，结果利息高得连公司收入都不够付利息，于是又向我哥借了好几次钱用来还高利贷。总共借了近百万，我一再让他好好经营公司我也一直在公司帮忙接业务管理发货这些，既然厂办起来了我也一再的忍耐但是后来到2011年8月份发现他有外遇，那女的已怀孕六个月，于是我一气之下和他分了手，并叫他把之前向我家借的所有的钱都打成欠条给我。他也打了，也写上了还款日期，但是还款日期过了还是没有还，又重写了张欠条说接下来9，10，11月份分三期还这样，还写每个月还一万作为两套房贷的款，结果到现在连这个每个月一万的房贷款都不还更不用说其他的钱了，现在他就想赖账还说他没有钱，要还也不会还清所有的钱，说我之前跟他在一起的时候也花了他不少钱。说也要我来承担。我想起诉他，但是他只有一套房产还贷了47万，估计那房子也就值六七十万。那我如果起诉他，他47万减掉剩下的也不够还我家钱。我想如果我起诉他诈骗罪可以吗，他拿去的钱也不是所有都用于办企业，刚开始买了一辆十几万的车，后来又换了辆宝马车，结果后来说要把车卖了还我们，结果一分也没还给我们家，一而再再而三的欺骗我们，但是我需要什么证据呢？