关于二手房的纠纷问题

我在5月30号在中介跟卖方签订了一个购房合同，房子总价50万，首付30万，我是贷款的，所以合同上写着剩余20万在6月15日前付清。结果由于第一次的评估单，银行不接受导致银行放款日期晚了一个月。现在卖方要求赔偿违约金，我觉得自己很无辜，一直都积极配合工作。现在不知道该怎么办？ 
以下是合同内容： 
第五条 乙方逾期付款的违约责任：乙方未按本合同第三条约定的时间付款，甲方有权按累计应付款向乙方追究违约利息，自本合同规定的应付款最后期限之第二天起至时间付款之日止，月利息按银行利息计算。逾期付款超过10天，甲方有权按下述第2种约定追究乙方的违约责任：第2条是乙方向甲方支付违约金共计2万元，合同终止，乙方将房屋退还给甲方。甲方实际经济损失超过乙方支付的违约金时，实际经济损失与违约金的差额部分由乙方据实赔偿。 
在此期间，在7月5日前，卖方一直没有提到过违约金，只是口头上说，尽量快点（赔偿损失也只是说付点利息就可以了）然后最好能给我们解决5-10万(因为他们也跟朋友借了钱去买房子，想快点还给人家)，但是5号以后态度来了180度大转变，直接说要求赔偿违约金。这不是设个套给我跳吗？一开始说晚几天没关系，最好能稍微解决点钱，后来却这样子。如果一开始态度就不好的话，怎么的我也会跟朋友借钱把他的先还上啊。现在我真不知道该怎么办？叫我付违约金吧，我真的很无辜，找中介责任么，又找不到，合同上根本没有中介的任何责任。