婚前男方父母出首付买房，房产登记在男方一人名下，婚后共同还贷，离婚后协议房子归女方，男方父母是否有权

在夫妻感情没有破裂情况下，前妻突然提离婚，由于对突入起来的打击没有防备，有些不理智和冲动，答应了离婚，并很快就办了离婚手续，离婚协议书约定房子归女方，并做了公证。房产是婚前男方父母出资首付，婚后双方一起还贷。现在请问男方或者男方父母，是否有权利追回房子。