本人2011年5月底与一家开发商签订了购房意向书，里面有写明房号，单价。且当时就交了2万的定金和40%的预付款。开发商当时承诺2个月后就开始建房（口头承诺，意向书上没有写明的）。 房子到现在都还没建，现在只是稍微弄了一下地基，原本口头承诺2013年交房的，可是现在看来，2013年是肯定交不了房子了。 现在我想退房，把钱退回来，可以吗？这个算我违约吗？需要扣钱吗？怎么扣呢？ 我该怎么做呢？
----------------------------------------问题补充：--------------------------------------------------
意向书的内容如下： 甲乙双方在平等自愿的基础上，经协商达成协议如下： 一.乙方自愿购买xx商品房，该房屋基本情况如下：xxxxx(备注：以上房屋面积为站定面积，最终面积以房管局测量为准。房屋面积调整的，每平米单价不变，房屋总价做相应调整) 二.付款方式（贷款） （2011）年（xx）月（xx）日付定金2万 （2011）年（xx）月（xx）日付房款xx元（40%的预付） (剩余房款xxxx，办理银行按揭，逾期付款，优惠取消) 三.乙方须在接到甲方办贷通知10日内去银行办清所有贷款手续并缴纳相应费用，否则视为逾期付款。 四.甲方保证本意向所指房屋产权权属清楚，若发生与甲方有关的产权纠纷和债务纠纷，一概有甲方负责清理。 五.乙方需按本意向第二项约定付款方式，付款日期付款，逾期3日的视为逾期付款，甲方有权将此套房屋另行出售，并扣除定金的20%作为违约金。 六.本意向书在双方签订商品房买卖合同后失效。 七.本意向书一式两份，甲方持一份，乙方持一份，双方签字盖章后立即生效。 甲方：（签字，盖章） 乙方：（签字盖章）