房屋买卖合同纠纷，急

你好，我有一套房子2014.5.8号跟人签约，对方交了两万元的订定，其中一万元押在中介那里，合同有写6.20号付首付款给我们，结果被告之其因信用不好贷不到款，后跟我们协商改用他女朋友办贷款，重新跟他女朋友签了一份合同，上面有写首付款于7.1号前付给我们，因自己未仔细看，这份合同上面增加了一条对方因贷款办不下来，不购成违约。
  昨天7.1号打电话给对方，他说银行要预约，他们昨天预约了，说是今天会把首付款给我们，我们同意了，但是今天打电话给他们，他们又说什么贷款还不知道能不能办下来，等贷款确定能办下来再给我们首付款，看他们一而再的找借口脱，我们因为又买了房子，所以急需这笔钱，他们却一而再的脱。
    这样如果我们打算不卖他房子了，是算我们违约，还是他们违约，交到我们手上的10000元订金，要退给对方吗？