和男朋友好了2年 分手时他问我索要分手费合理吗？

因为都在一个单位，在男朋友的猛追之下我答应和他在一起。我们谈了2年以后想到结婚，今年5月已经家长见面 收过4万块钱彩礼钱。 在这2年期间，游玩花费我们花销费用都差不多，但中间牵扯到买房的问题，男方没房，我在深圳看了一套2手房用做我们的结婚房，  总价200多万。 首付月付都是我在付，他期间给这套房提供了50万还款。还说 这也是给我们买房，哪怕不成了 也不用还。 但快到订婚时候 南方在无意一次聊天中想分手，理由是 我嫌男方穷 买不起房，买不起奢侈品。 然后以此问我要回那50万。他给我的时候 只是银行汇款 信用卡刷。 并没有借据 收据。 但现在我怀疑他分手的原因根本不是因为这个，是因为还有一女孩儿追男方，而且还在一起了。 请问这样 我还需要归还他之前给我的那些钱吗？ 还有这次对我感情伤害挺大的，他对我的欺骗 我能告他吗？