二手房买卖合同纠纷

我是今年3月15日通过中介与买方签订房屋买卖合同，合同约定3月31日买方将首付款支付到资金托管账户，剩余款通过按揭付款，逾期10日内，按日万分之三违约金，逾期超过10日，卖方有权单方面解除合同。双方4月1日去办理交税申报手续，4月14日缴清税款（合同约定税费是买方承担），之后买方一直未支付首付款到托管账户，4月20日我发手机短信给中介以买方未按合同付款为由要求解除合同，5月16日我发短信给买方，以买方逾期付款违约为由要求解除合同，不在配合办理过户手续。5月19日中介和买方一起要求我去办理过户手续，我拒绝办理过户手续。买方说我4月1日同意配合办理交税申报手续，已超过合同约定付款时间，从行为上说我已视同同意变更付款时间了，另外中介和买方都说4月1日当天才知道地下室缴税前需要先评估，因地下室评估耽误的时间故导致买方未按期付款，不认定是买方的责任，是这样的吗