购房合同纠纷，合同履行咨询

我因置换房产，于2107年3月6日从一个台湾炒房客手中购买了一套二手房，并且在3月6日当天支付了对方20万的定金，签订了买卖协议，甲方为原房东，乙方为我，丙方为中介公司，房产标的300万，按合同约定了3个付款时间：
1、3月6日支付首付定金20万
2、4月3日前支付对方83万
3、过户当日支付对方14万
余下尾款向银行按揭贷款。
因厦门房产政策最近调整得比较厉害，购买我自己房产的人，因为银行放款时间收紧，最终在4月10日才收到我原本房子的尾款。
现在这个300万房产的合同约定中第12条中关于违约责任是这样表述的：第十二条 违约责任：1、甲乙双方签订本协议后，双方不得中途毁约。若甲方中途悔约，因以书面形式立即通知乙方及丙方，并自毁约之日起三日内应以乙方所付定金的双倍及乙方已付款（不计利息）返还给乙方。若乙方中途悔约应以书面形式立即通知甲方及丙方，甲方应自乙方悔约之日起三日内将乙方的已付款（不计利息）返还给乙方，但购房定金归甲方所有。2、若乙方不能按期支付房款或甲方不能按期交付房产，每逾期一日，违约方应向守约方支付房产总成交价0.05%的违约金。如何一方逾期超过日(额外备注：没有写超过具体多少时间）仍未履约的，视为悔约，守约方有权解除合同，同时悔约方应按本条第一款的约定承担悔约责任。


因为的的到款时间是4月10日，所以当天即有联系对方沟通过户事宜，但是对方没有同意，以合同条款第六条的约定说事，说是我们悔约，不是违约，需要我们赔偿他20万才肯过户，否则他就悔约。并且不退还我们20万定金。具体条款内容如下：
第六条 家园双方应于产权出来叁日内，以本协议书为基础签订土方局印制的《厦门市房地产买卖合同》并前往土房局办理过户登记手续。若产权出来叁日内，因一方原因无法办理交易过户登记手续，则守约方有权解除本协议并追究违约方的违约责任（违约责任详见本协议第十二条）

关键有几个点，第一：我们3月6日付定金（对方是炒房客，用的是公证委托的合同来交易），3月20日我有和对方一起去厦门房管局办理住房贷款预审批程序，并且给对方10万元购房款对方也手下了并且也有写收据，并且有和对方协商（无文字记录，无录音记录）产权证出来先过户，先给对方20万元（因为我自己卖的房子的尾款还没到账，无法给对方那么多钱）对方没有同意，而且在12号我爱人还有微信联系中介人员（有语音和文字聊天记录）沟通提前过户事宜，对方也以解压款没到位为由拒绝过户，最终对方在24号新的房产证拿下来了，期间我们和中介联系过户事宜，对方也没说什么，就说要抓紧，因为新政原因，我的卖房尾款还是没到位，但是咋30号左右我爱人还是继续有联系中介沟通过户的事情。之后过了清明假期，对方还是有联系中介，我们按买我房子人银行的答复给到对方最迟11号可以过户。在昨天，10号，对方给我们对方语气很强硬，在下午我们收到款项的第一时间内联系了对方，对方在晚上和我们面谈，房子需要继续加20万才肯卖，否则追究我们的违约责任，并且要悔约。
请问，这样的情况是因为合同不够严谨，对方是否有权按他说的直接解约，并且要我承担20万的违约金，还是说我只要承担4-10号的违约金即可，可以继续要求对方不额外增加条件履行合同？如果不能履约，我可以追究中介什么责任。辛苦解答，谢谢！