您好，我于今年六月份通过中介机构购买了一栋二手房，该房屋去年底交房

您好，我于今年六月份通过中介机构购买了一栋二手房，该房屋去年底交房，房产证要在今年十二月左右下来，所以我们先是交了几十万首付取得了房屋使用权，合同约定在房产证下来后办理过户并且我们贷款支付房主剩余几十万，可是在十月左右房屋所有人（购房合同注明单独所有）配偶先是说他不知情，接着又透露给中介公司说是他妻子可能会牵连到债务，其中合同签订时是由业主妹妹代理谈价签的，无业主单独授权书，但甲方业主及其代理人都注明且由代理人签字画押，在我们交付首付款的时候也是业主本人亲自来的，而且收据上注明了此款项作为该房屋首付款，当然我们同时取得使用权，现在不知道是房屋涨价还是真的牵涉到债务，他们要违约，并且委托了一家在他们老家的律师事务所律师给我们发了律师函，要我们退房并且几日内搬出，可是我们已经对房屋整修并且买完家具家电作为婚房，怎么可以！请指点迷津。转账给业主的凭条及收据都在，三方合同及违约补充合同（哪方违约不单首付款归非违约方，还要支付总房款百分之五十的违约金）都在。