我能要回我的钱吗？如果他说我破坏他的家庭，会对我追讨债务造成不利影响吗？

2012年1月的时候，我（当时离异）在网上认识了寻甸一个男的，他自称自已也是离异的，没有小孩，后来我们见了面，他说很喜欢我，要和我在一起，之后我们就以男女朋友的名义交往，当时我也提出去他家看看，但他一直以种种理由推脱，说家里老人逼他复婚什么的，他在家里呆不下去了。2月份中旬的时候，就住到了我家。2012年2月27日，他说之前生意亏本，还欠别人一万多元钱，自己要离家了，不能给人留下骂名，所以他向我借了人民币12000（一万二千元），当时给我打了一个借条，但借条上没写具体的归还日期。后来到5月份的时候，他说他之前生意亏得很惨，要从头再来，但一点本金也没有，所以一直央求我给他贷款（因为我一个人要养孩子，也没有积蓄）。当时他说三四个月就给我还钱了，我想着人都有困难的时候，而且那时我们已经同居了，所以就以我自己的名义，贷了三万元的贷款给他，当时叫他写借条，他说就两三个月的事，不会拖太久，所以没给我打借条，那时候，我工作调动，原来开的一个商店转让出去，也是他帮我转的，转让费大概7000元，也是借他去了（没借条）。后来几个月，他就以做生意的借口出去了，偶尔到我这里一两天，隔三差五的，还说自己在山里收菌子，叫我给他交电话费。
      大概7月份的时候，他忽然说在老家盖房子，盖好了房屋就和我结婚，所以我也没有催他还钱，大概8月份的时候，他换了手机号码，告诉我不要再打原来的号码，有一天我一直打不通他的电话，所以就打了旧电话号码，结果是一个女人接的，他还发誓说是他妈。可是从那以后，就有一个女孩发短信辱骂我，说我不道德，破坏别人的家庭、当小三之类的，之后我就提出分手，因为我是有工作的人，我不想卷入别人的家庭，也不想给我自己的名声和孩子有不好的影响，可他一直不同意，说他一直在处理离婚之事，而且不止一次跪在我面前求我，经过这些事，我觉得自己已经不再相信他了，所以也说过让他还钱的事，因为从借了钱之后，连银行的利息都是我自己再还，而且为了不让老人担心，我就没敢告诉他们我借过那么多钱给他，只敢告诉老人借了他一万，可他每次都说下个月下个月。
      后来大概十月份之后，他又从我家消失了几个月，2013年年初，就是过春节的时候，他来了，他说开了几次庭，但是婚还没有离，我撵也撵不走他，他又跪着求我，看着儿子一口一个爸爸的叫，我再一次心软了，最后相信了他一次。那次之后，他基本没离开过我家，但是一天无所事事，也没有经济收入，而且在过去的一年多里，他偶尔给我三五百块钱，然后吃穿住什么都是我给他承担了。大概4月份，我实在是看不下去了，他说自己会建筑，我就拖熟人给他找了个私人建筑老板跟着当小工。可是他结算的工钱，就是在2013年5月份我读函授交学费的时候，给过我2000元，每过一段时间，他就跟老板结算一次工钱，然后说回去看看孩子，顺便处理离婚事宜，回来的时候，多余的钱不会超过50元，有时候，甚至是连路费都是我打给他的，那就意味着，他抽烟、吃穿住等等，又都由我负责。和他在一起的那两年多，是我工作以来过的最拮据最窘迫的日子，那两年，我连衣服都买不起，有时候，我身上只有二三十元钱，而我，一直碍于面子，也没和家里老人和同事说过。
       2014年1月的时候，我再一次因为的钱的事情和他争吵，他说他会双倍还我的，叫我再等一等，所以我逼着他给我写了一个欠条，所以2014年1月13日，他给我写了一个十五万元的欠条。2014年3月，我觉得我给他的时间也够多了，整整两年零两个月，我不愿意在一份没有希望的感情里耗下去，我想过我自己的生活。他又一次跪下来求我，这一次，不是求我不要分手，是求我收留他，他说老板好长时间没给结算工资，他也回不去，让我收留他一段时间，还说他在这里吃我的喝我的穿我的，以后每天以20元还给我，还说，就算我不和他在一起，他还是会离婚，他离婚不是因为我。我想着他在这里没有亲戚，所以最后收留了他一段时间。那以后，我们就是住在一个屋檐下的陌生人，偶尔说一两句话。大概四月中旬的时候，他结算了工钱，也没还我我一点，就告诉我他要走了。
         走了之后，就很少联系了，五月初的时候，我在镇上申请的廉租房批下来了，要交押金，而我，也想让他尽快还钱，所以发短信告诉他我要交钱，他说，我没钱，你自己找朋友借吧，当时，真的心里很凉，所以我发誓。再也不给他机会。5月16日，大概17点左右，他发了一条信息，说离了，我也没回。过了几天，他说还能不能在一起，因为一直以来，他都是一味的从我这里索取，而我遇到困难得时候，他都是让我自己找朋友帮忙，所以我说我已经有男朋友了。
        那段时间我在学车，正好五月中旬的时候，一起学车的一个学员来追我，当时，我也没想过和他在一起。五月底，贷款已经借满两年了，虽然是三年期的贷款，但是每一年都要还进去，第二天再贷出来都行，就是必须还进去，走那么一个程序，第一年的时候，他说自己没钱，让我找朋友帮帮忙，他还说卡不在了（不知是有意还是无意），我找一个朋友，借了三万元还进去，第二天又借出来还了，当时自己就很委屈，他说这是最后一次，第二年，不会再让我为难。可是第二年到了，我找他要钱，他说没钱，你不是有男朋友吗，让他帮你还。
       所以我当时一赌气，就和那男的（也就是我现在的老公）闪婚了，我们认识不到一个月，就把结婚证领了。为了不让他以后来骚扰我，我告诉他我结婚了，开始他说不信，再后来，我一直不回信息，他就从短信、QQ上辱骂我，而我，我觉得除了还钱，我和他之间已经没有其他任何的事情了，所以我不知一次给他发过信息或是打过电话要钱，他开始说会换的，到去年年底，最迟今年5月份还，可是大概1月的时候，他从QQ上把我删除了，电话也打不通，发短信也一直不回我。我都怀疑是他换了电话号码了，但是4月23 日的时候，他还是用哪个电话号码发过两条信息来辱骂我，可我依然打不通哪个号码。
       前几天我才同一个同事说，借条的有效期好像是两年，让我赶快处理，所以我才看看，我手上现在有两个欠条，一个是借条，就是最初借的一万二，时间是2012年2月27日，另外一个名称是欠条，时间是2014年1月13日。我想要回我的钱，像我这样的状况，应该怎么处理？
       非常迫切的等待您的回答。谢谢您。