婚姻与财产

我丈夫和我在孩子不到一岁时出轨，因此我离开这个家。四年后回来找他离婚，他不愿意离婚，再加上他家人对孩子不怎么好，四，五岁的小姑娘还不知道大小便，现在都九岁多，不愿说话生活可以说完全不能自理。我丈夫现在又因刑事案件被捕，到现在我才知道他差各银行很多钱（信用卡）我想咨询下在我离开这四年时间内，我买了一套房子。是写的我名字，现在他无钱还银行如果银行找上门我的房子会不会收。我买这房子的事情他和他家人至今都不知道。