银行延迟放款，业主是否要付违约金？

我在2011年10月买房时当天就已经与房地产商签好购房合同并且和银行办好贷款协议，是房地产商指定的银行中国银行，办好后，我针对合同中一条关于贷款多少天必须到位的条款询问他，如果银行到款迟了是否算我们的责任，售楼处给出的答复是没有关系，由他们跟银行沟通，下面只要通知我拿剩下的发票即可。然后2年过去了，在2013年拿房时，售楼处居然跟我说，银行贷款到迟了，需要收取违约金1万多元，被收取的业主很多，多则几万。如果不缴纳，要么不能收房，要么他延迟交房的违约金也不会给你。在这边作为消费者就很疑问，为什么当时款到账迟为何不通知我们，而且这么长时间内没有人跟我提起过任何违约责任，是不是开放商跟银行产生矛盾了，贷款迟发了，责任也要算在我们业主头上，就算这样，这么长时间内，如果你通知我们一声，我们可以更换银行或者采取其他措施，并且出于本意，我们没有拖欠贷款的行为！请问下律师，我们业主需要承担违约责任吗？