子女抚养问题

离婚时女方只是为了想摆脱男方的家庭暴力（女方起诉离婚），答应了男方提出的要求：
一、家里一切财务女方不得索求(女方和男方均为农村人，结婚5年多）；
二、3岁的儿子归女方抚养；
三、抚养费男方第一年每月支付50元，从第二年后开始支付每月80元；
四、法院一切费用为女方支付； 
如女方不答应如上条件就不离婚。 

女方因无能力抚养小孩所以没有带走小孩，小孩一直由男方抚养，男方也未把小孩送到女方那边去，女方离异后生活也艰难，外出打工等稍微好过点去看孩子，男方表面上同意让女方看孩子，其实孩子已经让他们灌输成不认女方，无法看到小孩或带小孩子去玩。过了几年，当女方有一定经济实力以后，男方提出索要高额抚养费，男方这样做合法吗？作为女方的又该这样去面对这样的问题呢？（女方无法带小孩和自己生活）
男方抚养孩子达4年，抚养权是女方的还是男方的？