当时单位分的房子我该如何跟他撇清关系？

98年我单位分了一套55平方的公房。因为我表外甥的户口挂靠在我这里，所以我将户口迁过来的时候，表外甥的户口也跟着过来，我老婆孩子的户口留在原来私房中，但这公房只有我老婆孩子三人居住。到了2000年的时候，使用权可以转产权，我就将这套公房买了下来。事隔11年，这个挂靠户口的外甥现在要求分割我们居住的这套房产。
    1.当时四联单是按照户口簿写的，所以有我们一家三口以及次外甥的名字。
    2.购买房屋的合同中，只写了我自己一人的名字。其中有一条，乙方在签订本合同前已与上述房屋的承租人（受配人）、同住成年人协商一致，共同确定上述房屋一经转移，其房地产权利为乙方享有。
现在问题是：购房时，没有与他商量，因为当时单位就是分配给困难家庭的，况且他也不是住在这里的。四联单上有名字，法院会不会判房屋分割给他。分割的话是按居住人，还是按户口，或者产权