二手房买卖起纠纷，这种情况，到底算谁违约？

我和卖家通过中介签订二手房购房合同，缴纳五万元定金给卖家，并约定于2月6日前卖家带房产本去办理抵押，同时我们缴首付48万元。但因为我们在准备的过程中，出现了一些问题，于是和卖家商量能否把首付时间推迟，对方同意了，加上中间隔了过年，房产部门放假，直到3月14日，双方才到房产局办理房产本抵押及缴纳首付。可在转账前，卖家忽然提出让我们额外支付因他在办理房产本过程中补交的面积差额一万元，如果我们不支付就解除合同。我们不愿负担，卖家则提出有事先行离开，交易因此中断。之后，我们通过中介一再表示该笔费用我们不会负担，如果对方想解除合同，至少应退回定金。而对方则称是我们没按合同时间履行付款义务，违约在先，拒绝退定金，并保留要我们赔偿他损失的权利。我想请问像这种情况我们算违约么？之前的口头约定延期算是合同的一部分么？我有权起诉卖家要求退还定金么？整个过程我没有录音，但因为都是通过中介，中介的话可以作为证据么？谢谢！