万一我过了户，买家余款不付给我了，怎么办？

下家付了首付款，剩下的钱要通过住房公积金贷款还给我。听中介说，要先过户给下家，而且等他产证办了下来，卖家才会把他贷款的尾款打给我，请问各位大侠，是这么一回事吗？万一贷不到款了，房子成了别人的了，岂不是风险很大呀？
而且我是和中介签了份协议，尾款付款时间没填，只写了公积金贷款下来付清余款。
产权交易日期倒是注明的。这个协议具有法律效力吗？
如果公积金办不下来，或者我过了户，买家不付款了怎么办啊。（不过上面注明房屋交接时间为付清所有款项的三个工作日之内）