买房子贷款没按合同要求的时间办下来会被要求交违约金吗?

我是2013年11月份签的购房合同，签完后，房开公司的人员就带领我去办分期贷款，当时签的是工商银行，半个月过去了，快一个月的时候，给我打电话说退件了，审核是已经通过了的，由于房开公司嫌工商银行放款慢，就要求退件，让我们换其他的银行，后来由于种种原因，换成民生银行，后来听说民生银行不对外地人放款，最后在招商银行贷款成功的，这中间都是房开公司的人带着我们办的，我们一直挺着急的，想尽快办下来，
现在收房拿钥匙时告诉我们还需要上交7000多元钱的违约金，说给我们减少点，要求交3000多元。