离婚后儿子成人了，我的房屋儿子想要居住！

一：93年和前妻结婚，98年和前妻离婚（当时关于夫妻共有资产都做了法律判决），大儿子（95年出生）开始由我带的。2000年我再婚（2002年和现在的妻子有个儿子）。
二：现住房（98年单位福利房5年贷款，03年还贷完毕，和现在的妻子共同还贷三年，2003年一年的房贷款是妻子的父母一把给我还的贷款，而且前期单位首付款还问几个姐姐借的直到2007年几个姐姐的钱才还清-也是和现在的妻子共同还的）。
三：2002年左右由于前妻从98年离婚后一直不给抚育费，我打官司，通过法院调解。大儿子跟前妻。我支付抚育费。
四：现在大儿子开学大二了。突然打电话以后要回家住，说他有居住权。我觉得大儿子成人了，在家住有诸多不方便。小儿子现在开学初二，学习很关键的时候。（大儿子不太懂事，所以担心影响小儿子）。
五：我现在有权利拒绝他回来么？他是否有居住权？