二手房买卖房东延迟交房且户口不迁

今年4月交了定金之后开始办理二手房买卖的流程
我们已于合同上规定的所有约定日期交齐了该交的款项和办理了银行贷款
我们6月初就已经把除了2万尾款的所有款项（包括银行贷款）一起给了房东
原本合同约定是：
1房东要在7月30日以前交房，如果延迟，按每天总房价的万分之五支付我们滞纳金
2房东要在7月30日以前将房内户口迁出，但是合同并没有规定如果没有按时迁出要怎么办


现在房东说要晚7天交房，还说是我们曾经说过同意他们晚几天交房没关系的
但是我们根本没这样说过
充其量，签订合同的时候，房东说因为装修不一定很快弄好，可能需要多给些时间再搬出去，所以我们当时才答应在6月3日就已经把除尾款以外的所有款项都给他的前提下，允许合同上写明7月30日才交房（几乎让他们白住了2个月）
之前房东有给我们发短信要求商量延期交房，我们也已经在短信里委婉拒绝了，之后怕再生什么意外，我们一直在催促中介和房东沟通催促他们按时搬走。
可能是我老公认为中介合同没有写清楚等和中介沟通时口气不好，今天中介居然说能证明我们曾经说过可以让他们晚点搬

想问，像这种情况，我们可以直接押住尾款不给他，然后他延迟几天交房就在尾款里扣掉相应的滞纳金，把剩余的尾款一直押到他把户口也迁走后（房东说房子要晚7天交，户口要到9月才有可能迁）再给他吗？这样我们算不算违约？在这样执行之前还有什么流程要走才合理合法呢