我是2014年4月29日，农历三月二十八领的结婚证，房子是未结婚前他付的首付

我是2014年4月29日，农历三月二十八领的结婚证，房子是未结婚前他付的首付，然后我们一直在卖油饼做生意，中途我们出了一次车祸延迟婚期，当时是我姐姐帮他付了一半的医药费，后期这个钱，她妈和她妹有点不承认，为此闹过一段时间但又和好了，再后来闹的最严重的是陌生号码打来说他借了钱没还，四万块当时我告诉他妈，他妈不信告诉他妹他们说我图他们家的钱，我一气之下说离婚但后来又出去打工，再到后来他说回来做包子赚钱，那时房产证还没拿，他说拿购房合同可以贷款，我们自己做生意，我就同意了，一起去办理的签字按手印卡是中国银行，贷了十万，他说卡上只有八万三，每个月还将就5千块，我也不是很懂，包子店开没多久，又有别的银行打来电话说他用奶茶店贷的款也未还，从4万到二十八万那一段时间我气的很，我只知道一个十万别的我也不清楚，每天打我电话为此我提过不下二十几次给他妈说先还钱，以后严重，她们都不信，哭过闹过不下十几次提离婚，但冷静下来又想不能在他困难时离开，气归气也不忍心，后面他去外面和别人开休闲所，大半年一分钱也没拿，去年五月份我提过岁数也不小了该要小孩了，三年了，该计划了如果你不要我们就离婚，他也不说话也没同意，八月十五还来我们家跟我妈说决对今年要小孩，除了银行催债以外一切怪好，今年大概一月二十号吧他告诉我说他外面有女人和小孩了，我们好聚好散离婚吧，我都跟他妈说了，他妈说不可能别理他，过了一个星期他也没提，到了2月开头他就又提说一定要离下星期一去，后来又让提前星期五去逼的紧，他给我妈又打电话说了当时我也不愿意又担心我妈就不同意离，他就说他要给二舅打电话，我说不行，他又说那离，不然谁都不好过，后面我走他又拽我，接着给五姨打电话说他杀人了，不想影响我们，他要走，太突然了我都懞了，后来他说我如果不离亲戚六家将来都恨我们，还说什么网逃，如果他出了事我一家都别想好过，然后影响舅舅们的工作我当时害怕给我爸说了，我爸就说了我，也害怕出事当时浑身都抖就晕乎的和他进去签了离婚协议，但因为工作人员下班了说前面也还有几个就没办成，回来冷静下来一个个理清才觉得出了问题，所以想咨询一下。
而且他欠的所有债务，只有以当时购房合同贷的十万我清楚，其余的我都未知而且是电话通知的，这样离婚协议出上写所有的债务男方来还也和我有关系吗？即使我净身出户也不行吗?还有如果明天我不去办理离婚了，那份协议是否会存档有效?结婚证是否能拿回来