共同房产女方私自转卖

我们1996年因夫妻感情不和协议离婚，当时有一共同房产，女儿5岁，协议女方只有居住权，没有买卖权，房产在女儿18岁后归女儿所有（离婚协议书写的很明确）。但是女方在没有通知男方的情况下私自转卖了房屋（年月不详），今年女儿已经22岁了，转卖方因为房产一直没有过户，今年买主才去房管局办房产过户，房管局看过我们的协议书后不予办理，必须男方签字才行，买主才找我，要求我签字，我才知道女方早就背着我卖了房产。现在我已经再婚，女方一直未再婚，所以男方一直就没有关注房产，切女儿虽然多半由女方带养，学习生活费用基本是男方负责。请问男方有权拒绝签字吗？是否要求补偿男方和女儿损失，损失费怎样计算？损失是由女方负责还是现在买主负责，比例如何计算？谢谢！