上门女婿离婚后孩子归谁

他是上门的，结婚后一个月他赌博欠了十几万，要债的找上我家门得知他一直都在赌博没结婚前竟在外欠了几十万自己却在完全不知的情况下和他结婚了，然后父母给他做担保在信用社贷款结果每个月利息他也不还，结婚快5年在家呆的没有半年孩子从出生到现在从没给与照顾抚养，他也从不给家里经济支助，现在直接不回家已经多半年从不给家人孩子打电话，每年信用社都在打电话催我们还款，我所在单位的领导也经常找我谈话问他的事，但是自己目前都不知道他到底在哪，信用社说在不还款就要起诉我父母，他有固定单位但是他不在岗一直挂职，从结婚到现在一直都是在争吵中度过，感情早已破裂，双方都提出离婚，但是他欠的银行帐和我们自家的帐该怎么弄，这几年他也从没想过还，就这样拖着等着我先提出离婚不要帐，就这样拖了几年，现在他也不回家，也不知道他在外边另找伴侣没有自己也完全不知，我该怎么办？