购房合同，退房时，首付款怎么办？

您好，我于2010年在杭州购买了一套总价值140多万的房子，首付款40多万，贷款100万元整，后来因为贷款无法批准，开发商说使用其他方式继续付款（现金支付，或者重新通过其他渠道贷款），但是我房子不想要了，想要退房，开发商不答应，就一直拖到现在，开发商并说必要时会起诉我，购房合同里面并没有明确规定我不履行合同时付的违约金，只是规定了我逾期支付时，开发商有权解除合同，并支付一定的违约金。