二手房买卖遇到棘手问题!房主不退定金

律师你好,我定了一套二手房,在中介公司签合同时候,给了房主3万定金,因为我预算有限,当时口头和房主约定,签完买卖协议后,把定金退给我,我去交首付,因为少了这3万,首付款就不够了.房子总房款73.5万,首付应该15万,合同上写着让我筹齐除去银行贷款和定金外的款项作为首付,我已经筹齐12万,就差房主手里的3万就可以交首付办贷款了,可是他不退我了,不承认当初的约定了.可是现在的问题是,买卖协议打的就是总房款73.5万,如果他不退我3万,到时他手里就是76.5万啊,这样他就多了3万!不可能给我写借条吧?我再追着他要帐?那非常不合理!我也没有能力去借钱了,所以想问下律师,这种情况,因为房主不退定金而导致我的首付款不够,不能办理贷款,是谁违约呢?我该怎么办?求助!!!谢谢了