住房买卖，卖家是唯一住房，买卖结束时要是户口不迁掉怎么办？

今年8月看中了一套房，卖家之前是只有使用权没有房产证，买的时候卖家说已经在办理手续了，一个月以后房产证就能出来，当时没多想怕被别人买了当天就通过中介签了合同并支付1w的定金，我们说等房产证出来后再付首付，而且了解到他们是为了儿子结婚要买房才卖房的，户口等全部付完钱就迁掉，这是口头承诺，没有写在合同上，第一次买房什么都不懂，也没多想。1个月后产证出来了去付款，可原先使用权上的是46.88平方，现在房产证上却只有46.08平方，在双方争吵下大家都退了一步减了5千元，但心里肯定是不舒服，白白损失了1.6万多块钱，而且现在卖家说户口暂时迁不掉，要等明年10月份，后来压了4W,并在中介那签了一份协议。想想真的要这套房就算了，在中介的陪同下到银行付了首付。隔天通过公安局朋友的关系，查到之前这家主人有过吸毒犯罪史，突然间就慌了，他们是有案底的人啊而且是唯一住房，怀疑慢点会不会被骗或者户口问题留有后遗症什么的，我该怎么办？是继续履行合约还是要违约？可是违约的话损失蛮大的，能否给点意见。