房屋买卖问题

我是房屋买卖中的买家，我与卖家首先在购房定金合同中约定好了，双方在进交易中心之前卖家需要迁出户口，到了5月26日进交易中心那天，卖家并没有迁出户口，于是中介主张我少付10万作为他未迁出户口的押金，并且卖家当日承诺次日迁出户口并且等我公积金贷款到账后马上交房，然后直到6月13日我公积金到他账上时，我于6月14日向他提出交房的要求，卖方不予答应，直到20日我再去交涉时卖方提出月底交房，并且户口还没有迁出。我回家翻了一下购房合同，关于交房日期的确没有写明日期，但是对迁出户口我们有约定，卖方需在房屋产权转移之日的一日内迁出户口，否则每逾期一日需要向买方支付已收款千分之3的违约金，现在因为双方关系闹僵，我就以这条威胁他们交房，他们可能看到合同后知道怕了（一开始很无所谓，就是不交房不迁户口）然后于21日和我打电话说户口已经迁出并且要求我退还10万元押金。我就想问一下我向他们提出卖方已经违约，需要向我支付违约金，但是其实已经违约了将近一个月了，我也不黑心，向他们要求了2万的违约金并且只退还8万的押金，这样做合适吗