家庭房产纠纷

我父母10几年前离婚,离婚之前妈妈出钱在奶奶的土地上建了私房,但是私房是几个叔叔加我爸爸一起盖的,每家一层,盖了没多久我父母离婚,那一年我没有满18岁,离婚协议上写明我由爸爸抚养,妈妈净身出户,现在我爸爸再婚了,私房还没有拆迁,爸爸有没有权利赶我出去住?我今年30岁还没有结婚。之前6,7年都是在深圳独自生活。现在回武汉能否继续居住这个房子。
希望能给我解释一下。