二手房贷款问题

您好，我在天津市买二手房，在北京银行贷款，4月10日银行经理教我用其他银行消费贷交了首付（无证据证明银行经理教我）。5月16日银行告诉我因为有消费贷，房贷批不下来了，因为4月20日北京银行收紧了信审，不再像以前一样无视消费贷。我需要还清消费贷后退掉买卖协议重新签再交首付。但卖家拒绝退协议，且卖家根据链家中介合同中有“如因乙方所提供之相关材料不符合贷款银行的审批条件，导致贷款不能正常办理的，视为乙方违约”找我要成交价10%作为违约金。合同中也有说双方必须配合银行贷款。银行说我只要退协议重新打协议交首付就能办下来贷款，但卖家不配合退协议，想碰瓷得到违约金。这件事算是哪一方的责任呢？如果走法律判决结果会是什么呢？