财产

爸妈离婚了，然后离婚协议上写的是我妈不要钱但是房子的地皮要留给我，我爸也同意了。然后我爸又找了一个新的伴侣，结婚了，结婚后他们又盖了房子，几年后，他们就离婚了，但是女方那边要一半的房子（我家的房子上左边有六层半，右边有三层本，女方要右边的），然后不知道是什么原因，右边的那三层半女方在住着，我爸在左边的房子住，户口上已经是没有女方的名字了。
   请问一下律师，如果我想要回右边的房子能不能要回的？
   麻烦了，谢谢。