开发商以首付垫资借款没还清为由不让收房

我2015年7月买的房子当时首付不够开发商就借是十万块钱，分两期还给他，过期没还就开始算违约金。购房合同上写着房屋要在2016年1月24日前交付使用，现在开发商以欠款没还清为理由拒绝交付房屋！他这样的做法合理吗？？我应该要怎么办呢？
问题补充：
借款协议里面写着（乙方向甲方所借款项仅用于乙方支付其所购买的该房屋的购房首付款，不得挪作他用）
购房合同里面有一条款（交房期限届满，出卖人在本合同交付之日未收到买受人通过贷款机构代付的按揭贷款或买受人未付清房款及其他应付款项，出卖人有权决定本全同是否继续履行，如出卖人同意继续履行本合同，则双方约定的交付时间顺延至买受人付清全部房款后，顺延期间不视为交付逾期。待该房屋全款付清后（包括一次性、分期、按揭）由出卖人向买受人寄发交付通知）


他这个借款协议里的条款，能用到购房合同里吗？？？如果我去起诉他，他以这两个条款为依据，法院会判他胜诉吗？？