二手房买卖纠纷，买方解约违约金相关问题。。。

近日我看上一套二手住宅，售价115万，并于7月15日在中介公司与房主签订了居间合同，这两天因为个人原因我不想买了，想联系房主解约，2万定金和2%的中介费我不准备要了，可是房主态度强硬一口咬定必须支付相当于总房款10%的违约金。合同就是普通的中介合同没有什么附加条款。他的理由是自己房子有16万的贷款（2000年买房的时候贷的一直没还完，现在提前还款多少钱我不清楚，但合同上标注了），因为我要购买所以提前还了，现在我不买，给他造成了损失，需要我赔偿。。。我联系中介希望跟房主坐下来协商谈谈，他拒不见面。。。我想问下，这情况我怎么办？我怎么解约（居间合同上规定是8月24日之前双方去房管局签正式买卖协议），他一直拖着我有什么风险吗？按照现在的情况，如果真闹到官面上，我需要承担除了定金和中介费损失，还需要承担他提前还贷的损失吗？如要承担，大概要承担多少？有办法规避吗？敬候各位的详细解答，提前谢谢啦！