离婚协议书生效1年半后双方都自愿修改可以变更房产归属人吗？

我和前夫在一年半之前协议离婚，离婚协议书上我们共同拥有的一套住房归我所有。我离婚后回成都，那套住房在外地，我回成都当地申请公租房因为我离婚协议中共有的住房归我，我就没有申请的资格。我考虑到那套房屋还在建设中，而且还有贷款未付清，现在房价也很低，我现打算放弃那套住房。我现在已经和前夫达成协议，他愿意接受那套住房，我们想去变更离婚协议中房产的归属，将房屋归男方，我和他应该如何做？请回答具体点比如到哪里去改协议？协议如何修改？有什么具体要求没有？我现在就想使自己名下无房。谢谢。