别人用了我的信用卡，还款该由谁来还？

我在2008年的时候在南京办理了一张信用额度为6000元的交通银行的信用卡，后来因为男朋友事业有难急需钱用，我就从卡里面取了2000元给他用，没过几天他又需要钱，就又从卡里取了3000元给他用，后来因为需要生活费用，我就又取了500元作为我们的生活开支，后来在2009年5月份的时候我们分手了，分手的时候他说他用的钱他来还，我就把卡留给了他，自己离开了南京，我离开的时候卡里面欠款4500元左右，然后他每月会定期往卡里还款，可是在2009年11月份左右我通过网上银行查询发现原本卡里的可用余额由之前的3500元变成了1500元，也就是说他背着我私自取了2000块钱用，我问起他时他也承认他取了钱，我担心卡继续放在他那他还会背着我取钱，就让他把卡寄给了我，后来因为上街背包被小偷偷取，卡丢失了，而后通过联系交通银行客服得到了一个还款的卡号，然后我把卡号告诉他让他继续还钱，可是在2010年四月份的时候我突然接到交通银行总部电话说我这张卡已经逾期未还款，所以现在必须一次还3200元带卡里，然后我联系我前男友他说他之前手机丢了忘了卡号也一直联系不到我，所以就没有还款，后来通过和银行协商，最低还款1200元，他还款700元到卡里，由于他资金紧张，我也还了500元进账，没过几天银行又说还款不够，又必须要还2400元进账，这次是他全部还的，然后六月份的时候我还了200元进账，现在银行又在催款，说还欠余款1500元左右未还，现在最低要还款400元，我打电话给他的时候他就说他还的钱已经多过他用的了，现在不该由他来还，还说一开始就用了我2000元，剩下3000元是我用的，可是明明是他用的，因为当时是男女朋友关系所以也没有写一个凭证，并且前两次取钱都是我取的，所以我也没有办法指证他，我现在处于失业状况，生活也很紧张，没有资金去还这里面的钱，并且钱也都不是我花的，所以心里很委屈，不知道这样的情况我能通过法律途径解决吗？这样的情况法律会怎么判决？