我是二手房的卖方，我可以要求解除合同而不用赔偿吗

我是二手房的卖方，卖房子时谈的是买家走公积金贷款，中介说公积金贷款必须走资金监管流程。合同上没有注明是公积金还是商业贷款，写的是按揭贷款。但是几个月后买家公积金贷款没有批，就走商业贷款。如果当初他说是商业贷款的话，首付款肯定要求付现金的。8月中旬，中介通知我去银行配合买家银行贷款才知道买家公积金贷款没有批准采用了商业贷款，但是还是走资金监控流程。合同约定的付款方式为按揭贷款，规定签订合同后二十个工作日内办理按揭手续，至今已有4个月买家没有办理；合同还规定卖方办理完解押手续后七个工作日内办理完网签、资金监管手续（解押完成时间为6月24号，9月5号中介才通知去网签）；还有就是8月中旬中介通知我去银行签字，配合买家办理按揭贷款手续。我现在根据合同约定的期限，决定不卖了，中介说买家交了中介费、评估费，让我赔偿。请问我该怎么办？ 我感觉被中介和买家合伙欺骗了，所以不卖他。本来想把对方的两万元定金退他算了，但是今天买家打电话威胁我，说不赔偿他的损失（除了两万的定金外还必须赔偿他房屋评估费及房屋买卖中介费），就让我日子不好过。把这事给中介说了，中介说买家及中介都知道我小孩的学校，意思威胁我小孩的安全。求律师们帮忙分析一下，我应如何处理，感激不尽。