二手房首付房东该什么时候拿？

律师你好：
我一个非常急的问题！！我是买家，因首次购房，购买的是一套二手房，首付是100w，商业贷款100w。和房东签的《购房合同》上约定5月25日前向杭州银行监管账号（开户人是中介）打入100w首付，买家自提出购房贷款申请并交齐资料5个工作日内，买家同意支付房东100w。

我（买家）在5月25日到杭州银行，向杭州银行的监管账号（开户人是中介）中打入了100w首付时，银行要求我签一个函，函的内容是由于我的原因，特向杭州银行要求把100w在X个工作日打给房东。“如果我（买家）不能顺利贷款，想追回首付款60w，就要和房东自行协商解决。”

看到银行要求我签的函，明确表示了如果贷款不通过，首付款因到了房东手里，就要我与房东自行解决，银行不管了。当时看了此函，我明确表示不签！！

现在，房东说因为我没有签银行的函，所以他拿不到首付款100w，说我违约，要我赔违约金。
我很无辜，我的理由1：我说银行的这张函，我不能签，我只能等贷款审批下来（我指的是审批通过，不是贷款放下来），才能同意把首付款100w给你，因为当时签《购房合同》的时候，根本就没有约定要签银行的这张“函”，所以我有权不签这张函！！我的理由2：房东你根本就没有把房子交付给我，也没有和我办理3证，你有什么损失？何来的损失？

现在希望律师帮我分析一下，我的做法对吗？