房屋买卖纠纷请求帮助

我于2019年4.6日在中介于马某买方签署卖方协议 我是卖方卖房总款三十八万五，首付款12万五千，贷款26万，4.6日买方在中介交了2万元押金，合同上写了4月10日交付首付款，但是他说到外地办事为由未履行合同期限，4月25日才又交了1万零5千元首付款，5月4日买方、卖方、中介到银行办理的贷款业务 6月10号中介业务员打电话告知我买方因信用卡刷爆无法贷款 银行贷款下不来  合同书上未明确标明贷款下来的时间，但是写6月15日办理过户交钥匙，我7月17号给买方打电话告知因急用钱，买方违约迟迟无法交付尾款，三天内如果不交尾款房子就无法卖给他，让他出面和我去中介赔付我违约金然后解除合同，买方电话口头答应但是没有去中介，而且打了多次电话不接也不出面，买方告诉中介让我把全部首付款退还给他然后才肯解除合同 买方不同意交付违约金 8月28日今天买方告诉我他的款带下来了， 但是房子已经涨价了，现在可以卖43万 我想咨询一下 怎么才能最快的解除合同，并且让他赔付合同上的违约金，希望得到律师的帮助