13年的口头协议

双方口头达成协议，我购买对方的房子，总额10万元，房子交付给我后，由于资金稍紧张，当时就先给了5万给对方，当时也没有过户，到现在房产证的名字也是对方的，后来对方13年都没问我要过钱，这次突然提出要回房子，如起诉讼我，对方能要回吗？

当时口头协议，没有约定尾款支付的期限，也没有约定利息，对方现在也承认我上面说的，我也有对方承认的录音。当时的口头协议有效的话，我觉得我现在支付他尾款的话，是不是也算合理合法的，法律应该不支持对方的主张的吧。