因义父关系所购得的房产，我有无权利出售

1987年，本人因工作关系认识了一位无儿无女的同事，因两人关系比较好，而且他比我年长，就认我为义子，因当时法律观念不强，所以并无什么手续，但是当时这件事情周围的同事、邻居都知道，义父名叫王听章，本人名叫潘福才。之后就搬入义父所在单位分得房子里与义父共同居住在一起（两室一厅），1989年本人结婚后产有一子（儿子1990出生），经义父与我商量，后来儿子的姓与义父同姓王。1996年义父突发冠心病死亡，因当时家里条件非常的拮据，所以义父留遗言让我不要搬出单位分得的房子，因为只要搬出，房屋就会被单位没收，在办理完义父的后事以后，本人继续居住在义父所留的房屋中，1997年，国家房屋改革，进过与房管部门沟通协商，最终用1.2万向单位够得此处房屋的所有权，1998年，因本人老婆是农村户口，丈母娘四处奔波，村里批准了一块土地供本人起房，四处借款后，起了一栋楼房，因债务缠身，所以就将当时所购的2室1厅的房屋以2万多的价格出售给了我老婆的大姐，因为是亲戚，房屋的户主还是本人潘福才，2014年，因政府统一规划，单位扩张，所以就将这里的房屋拆迁了，赔偿了60万，因户主是我，所以赔偿款打入我账户后，我就配合我老婆的大姐将钱一次性转账给她。现在我义父的侄子，侄媳妇等人知道拆迁补偿款这么多后，认为此处房产我无权出售，让我赔偿他们损失。