买房过程中，卖方在支付首付款之后买家不配合。

买方在电话中和卖方沟通，卖方房子同意以160万卖给买方，后来双方到中介协商好，买方当场支付卖方2万元定金，收据上有该房以160万元出售字样。买方和卖方在合同中约定10月8日付首付款30万元，但合同最后备注卖方必须在10月9号之前协助买方去办证中心办理公证。10月8日当天，买方已经当卖方的面将30万元存入了双方委托的中介账户，由于卖方房产证还放在银行里做贷款抵押，所以买方就先支付了17万帮助卖方从银行拿回了房产证，要求卖方在拿出房产证后一同去办证中心办理公证手续。由于卖方原因一直拖拉，中介在当天等卖方到傍晚17点10分卖方仍未出现，所以10月8日当天未能办理公证（办证中心已下班）。晚上卖方邀买方去家里详谈，结果在楼下卖方不让进家门，仍然在电话中拖沓。后来甚至还熄灭了家里的灯。后在协警协调下当时双方讲好同意10月9日去办证中心办理公证。后10月9日今天又反悔。请问买方是否不继续和卖方交易，要回自己的定金加部分首付共19万元整。如果卖方没有钱归还，又当如何？