预交房款，现房产商要求我退款，我还有哪些权利

今借到XXX（身份证号）联系（联系电话），现金120000.00元（大写：壹拾贰万整），利息按月利率1%计算，可随时还款，此款也可用于将来优先购买科茂锦苑电梯公寓特价房（每平方米1100.00元，不计利息）

                                        借款人:XXX(私章)
                                   时间（两年前）
                                        经办人XXX
上面是房产商给我出具的条子，说好此款用于购买房子，但两年后的今天，他以没能批下来为由，让我去退款，当然还是按借条上的利息支付，可这远比不上飞涨的房价，况且我当初想要的不是利息，而是房子。
你说我除还款外，还能主张要他在当初指定的地皮上的建的非电梯房吗？
如果他强行要我去退款，我可作何反应？
我如果不去退款，他会不会以此为由不还我？