开发商收了征信报告等材料后公积金办不下来

重庆4月房交会期间，我在看中了一套期房，与置业顾问交谈确定可以用公积金贷款方式，当时有活动交5000抵两万，交5000后拿到收据。5月8日时去售房部交了身份证复件件、收入证明、人民银行出据的个人征信报告等等公积金贷款所需材料，因我的征信报告上有给别人小额贷款的担保记录，所以找置业顾问一再确认没有影响可以办理公积金贷款后，才签了合同，并交了首付款，但交首付款时，他将我交5000定金的收据收回去了，而首付款的发票上却没有包含这5000元，说是已经享受两万优惠，收据没用了，索要几次没有成功（一起去购房的朋友及其他购房者可以做证）。现在置业顾问打电话来告诉我说：因为我有担保贷款，公积金办不下来，要我转商贷或者用担保贷款等额的现金存入指定银行并冻结1年。我现在没有那么多现金，同时不想用商贷，所以提出全额退款，对方却说不能退款，两天了都没协商个解决办法出来。
      我想咨询一下律师，这个贷款办不下来了责任应该算哪方？如果算作我的责任，那我是因置业顾问的可行承诺（口头）才签合同的，是否可以认为对方欺诈？现在退款，我之前的5000定金应以怎样的方式要回？