我有一套有银行贷款、有产证的房子卖掉5年了，但目前一直没过户，不想过户了可以收回来吗

这房子是2008年买的，当时是贷款买的，2009年11月份找了个熟人做为中间人，卖给了一位买主，房子卖的时候没有房产证，房产证2012年我才拿到（也就是说我房子卖掉后的几年里一直没有房产证），目前房产证一直在我手里。2009年卖的时候双方只写了个收款字条，没有任何房屋买卖所谓的合同，买主付给了我  我当时买房子的首付款金额，剩下的钱由买主每个月还银行月供，直到2013年9月18号今天，银行贷款每个月还是由他们还着，贷款还欠着6万多（为什么我知道还欠多少钱呢，前段时间他有一段时间没去还贷款，银行打电话通知我去交贷款，我这才知道）。为什么一直没去过户，一个是房产证最近一年才办下来，还有一个是房子到2014年产证才满5年他不想多出税钱。说了这么多就是想描述下过程，我现在不想给他过户了，房子现在比当初升值了不少，问题是他已经住进去几年了，我现在不想卖了，请问从法律角度讲我该怎么办，房子我还能拿回吗？