关于二手房纠纷的更新，大家帮忙指导下再

我在5月30号在中介跟卖方签订了一个购房合同，房子总价50万，首付30万，我是贷款的，所以合同上写着剩余20万在6月15日前付清。结果由于第一次的评估单，银行不接受导致银行放款日期晚了一个月。现在卖方要求赔偿违约金，我觉得自己很无辜，一直都积极配合工作。现在不知道该怎么办？ 
以下是合同内容： 
第五条 乙方逾期付款的违约责任：乙方未按本合同第三条约定的时间付款，甲方有权按累计应付款向乙方追究违约利息，自本合同规定的应付款最后期限之第二天起至时间付款之日止，月利息按银行利息计算。逾期付款超过10天，甲方有权按下述第2种约定追究乙方的违约责任：第2条是乙方向甲方支付违约金共计2万元，合同终止，乙方将房屋退还给甲方。甲方实际经济损失超过乙方支付的违约金时，实际经济损失与违约金的差额部分由乙方据实赔偿。 
在此期间，在7月5日前，卖方一直没有提到过违约金，只是口头上说，尽量快点（赔偿损失也只是说付点利息就可以了）然后最好能给我们解决5-10万(因为他们也跟朋友借了钱去买房子，想快点还给人家)，但是5号以后态度来了180度大转变，直接说要求赔偿违约金。这不是设个套给我跳吗？一开始说晚几天没关系，最好能稍微解决点钱，后来却这样子。如果一开始态度就不好的话，怎么的我也会跟朋友借钱把他的先还上啊。现在我真不知道该怎么办？叫我付违约金吧，我真的很无辜，找中介责任么，又找不到，合同上根本没有中介的任何责任。
当卖方问我要违约金的时候，我曾经打电话给中介，中介的负责人说：他会处理卖方的问题，说卖方不会像我们要违约金的，如果产生违约金，他负全部责任。这个电话我有录音，是不是有效？ 
因为我们买房子全部的东西都是交给中介负责的，这个问题是不是，可以让他们负责。