我的钱可以追回来吗？

我在去年2月和前夫离婚了，离婚时候协议书上写明了，债务归男方，房子两套每人一套。因为我是开童装专卖店的，没有什什么债务，他是开公司的，有些债务。所以虽然说债务归男方，但是那是他欠下的债，况且他也自愿还。 
    今年春天我一个专门进货的卡被封了，是因为我前夫和我离婚之前与另一个公司发生了债务纠纷，法院把我的卡也封了，由于没有钱进货，流动资金有问题，有暂时借不到钱，夏天时候就把店转了出去。
    问题就在接受我店的这个人，我前夫在5年前借他了27万，我店里连衣服和店面剩下的租金一共有42万，他就提出我前夫欠他的钱是夫妻共同债务，要我偿还一部分，不知道当时怎么就中邪的就答应了，就算是还了15万，剩下的13万由我前夫偿还，也就是说他应该给我27万，可是当时他只给了10万我，剩下的17万国庆之前给，眼下不是要国庆了吗？他现在却给我算了笔帐
    说他的钱是在5年前借给我前夫的，是夫妻关系，况且欠款我也知情，既然前夫没有能力偿还，就应该有我偿还，况且他现在等于只拿到了32万，而且但是他借给我前夫的钱已经5年，按照当时承诺的利息来算，应该给他40万，我现在还欠他8万。
    本来是他欠我17万，现在却成了我欠他8万，请问，离婚时候债务归我前夫，是不是原来夫妻关系续存期的债务也要由我来偿还？我还能追回原来他欠我的17万和替前夫还的15万吗？