我们是民政局协议离的婚，我们共有的房子归女方了，还有一部分存款

我们是民政局协议离的婚，我们共有的房子归女方了，还有一部分存款，面额到是不多也都归女方，但协议书上没标明具体数额，还有就是女方婚前跟结婚时的部分首饰，这就是说男方是净身出户，再就是公积金归给了孩子，抚养权归女方。实质上是男方有外遇了，只不过是离婚后才知道的，而且好多年了，离婚协议当时男方承诺给孩子2000元的抚养费。现在问题所在男方反悔了，房子不退，往回要钱，抚养费还嫌给的多，我想问问这种情况可不可以把孩子归还给男方抚养，因为男方闹得凶，女方身心疲惫，又没工作，上学也成问题。