买房卖房合同违约条款咨询

4月份通过中介公司卖名下唯一一套房，口头告知在他们家卖和再买，中间要帮我衔接上，期间买卖双方和中介谈的时候我们也约定贷款下来3个月之后交房，有个缓冲期，等买方7月21号贷款下来后，中介告知我贷款下来了让我查询下，我22号告知中介钱已经收到，随后中介那边回复马上通知买方，后来从买方口中得知中介22号并没有通知他们款子下来了，等8月6号的时候中介发个微信说最近可以物业交接了，我说可以，等12号的时候中介又发个微信说：“最近可以物业交接了，他们不问我也没联系你们，他们现在问了你，你们看下哪天方便，或有什么想法我和他们沟通”。我说随时可以交接，走的时候也可以交接，不是还要住3个月吗，3个月后交接也可以。等到19号的时候中介发个合同截图，上面写的交房日期是下款7天后交房，我回家看合同才知道写的是7天后交房，中介告知我多住的这些天让我返祖，我也同意了，住一天按目前行情给一天租金。问题出现在买房不同意返祖，要我赔偿这段时间的违约金，违约金合同上写总房款的万三，一天450多块钱，总共要陪1万多块。买方说6月份就告知中介说是下款7天之后交房，但中介一直没有通知过我们是7天后交房，现在我们一直联系中介让他们沟通，一直无果。因21-24号一直在外地出差，我给中介说我26号交房，屋内清空。26号交房后关于违约金的事情一直没有谈好，后期不知道买方会不会走法律程序，我想问的是这件事情中介在中间很清楚前因后果，但没有及时买方和卖方通知到位，是不是存在很大一部分责任，如果买方起诉我们赔偿违约金，我们应该怎么做。谢谢