我有个问题，07年年底卖的房子，当初合同上有条款：上家必须在08年2月5日前将房内户口全部迁出。时隔5年，我现在把该房子卖了，这次合同上有条款：甲方承诺与交房前将户口全部迁出，否则按每日100人民币支付违约金。现在我的下家发现里面还有户口，是当初上家的。已经快到交房时间了。现在我想咨询的是，如果当初上家不肯迁走户口，我该怎么办
----------------------------------------问题补充：--------------------------------------------------
下家问我要违约金的话，我能不能把这个责任转移给我的上家