离婚后房产纠纷

您好，我想咨询关于离婚后房产纠纷的问题。事情大概：双方结婚时男方给首付买了一套房，房产证写的是女方的名字，房贷也是由女方还。离婚时双方签订离婚协议，协议里写明房子归男方，但男方得归还女方所付房贷。
关于首付问题我补充说明：首付款分为两种方式给的女方。一、男方家人以电汇方式汇给女方的。二、买房时女方以男方名义向其亲友借款由男方偿还的。男方家人以电汇的方式汇给女方共计36万，其中有汇款凭证的34万。女方以男方的名义向其亲友借款10万元，全部由男方偿还。
现在双方离婚已经一年多，但房子的问题一直没有解决。女方现在反悔不承认当时离婚协议关于房子的约定，只愿意归还房子部分首付，也就是有汇款凭证的那32万，其他的概不承认。
我想请问律师这个事情如果走法律程序，男方想要收回首付46万的机率大吗？我们要怎么操作？期待您的解答，谢谢