骑虎难下的买房者

3月底交定金买了一套总价40多万的房子，看房当天交了5000元诚意金，当时因为怕房价涨，没有考虑周全，当时在中介的诱导下，共交了5万定金。因为当时中介承诺的是三成首付肯定可以办下来，我才签的三方合同，可现在第一家银行三成办不下来，现在换银行，业主拖三拖四不来配合面签，现在何时从外地过来还未知（要夫妻两人一起，因为嫌公证费贵，她总以老公不好抽时间为由拖时间）。过了五一节，房价竟然在短短一月间涨了十几万，我怕业主与中介串通，后面以我私人原因贷不下来款（因为我因为跑房子春节后暂未上班，当时中介承诺给做工作证明和银行流水）为由，我会成为违约方，因为我已交了5万定金与1万的中介费。因为经济很紧张，我想请教律师，接下来我该怎么办？