二手房过户后，按揭办不下来，我违约嘛？

2011年1月，我们通过中介购买了一套二手商品房，中介合同上约定，中介费：8000元，帮忙办理按揭手续费：8000元。2月，房屋过户到我的名下。余下未支付的房款由按揭支付。受房产政策影响，中介联系了几家银行，都未将我的按揭办理下来。昨天中介打电话过来说，刚联系的银行可能按揭又办不下来。让我们有个心理准备。
房屋总价54.8万，中介合同约定，我支付20.8万，余款34万由按揭支付及个人支付。
问：如果按揭一直办理不下来，卖房人让我支付购房款，我该怎么办？中介不能把按揭办理下来有没有违约责任？中介合同上没有约定中介公司会承担任何责任。