买方解除合约的赔偿问题

本人在支付3成首付后与开发商签定房屋买卖合同.接着走贷款程序,向开发商关系银行中国农业银行贷款7成.但是由于本人的收入证明开具的收入只能贷款约6成,于是12万元的缺口需向开发商补足.但是因为本人资金周转问题,无法及时补足,因此在开发商的建议下,本人写下承诺书,承诺于xx月xx号前将12万补足.当天,开发商在本人未支付12万的情况下开具了12万的发票,并传真给银行,以便贷款能尽快批复. 但是事后,本人觉得开发商这一操作模式有不妥之处,因此提出退房,同时取消了银行贷款. 但是开发商要求本人承担违约金(总房款3%). 理由是依据合同,"若银行未能在约定期限内发放贷款的,乙方须向甲方付清原贷款方式支付的房款,否则视为乙房逾期付款,甲方有权单方面接触合同,乙方承担赔偿责任.赔偿金为总房价的3%."
但是本人认为不应当由本人来承担全部赔偿责任.因为本人认为开发商在本人未付款的情况下开具发票给银行,这是违规操作,有诱使本人同开发商一起欺诈银行的嫌疑.目的是想确保本人能买下这套房子.
想咨询下本人这种情况是否如开发商所要求那样应当承担全部赔偿责任?