二手房买卖问题

在今年夏天订了一处二手房，房子总价为三十五万，先给对方二十万，今年年底再交十五万，签了协议，并请律师当场做证。对方夫妻离婚，离婚协议所有债务和房子都归女方，我们是在女方手里买的，但房产证还是男方姓名。在昨天男方说不知道女方卖房，他不承认。女方又不同意退还先交的二十万元钱。这种情况，我应该怎么办？
   恳请您能在百忙之中，为我指点一下。