双方已离婚,超生孩子要女方一个人负担社会抚养费吗

大家好，我（女方）和孩子爸都是安徽省农村户口，目前已离婚，我们已生有一男孩，双方因为家庭原因产生了很大的矛盾，后甚至动手打架，实在没办法在2013年10月份协议离婚了，男孩归他，离婚时有怀孕（他不知情），在2014年4月份孩子出生，我想问的是，我把小孩生下来了，是一女孩，我现在面临的超生罚款，农村户口按上年年均收入7千，两个人每人5倍罚款，总共需罚7万，镇政府在没有给我任何字据，任何签字的情况下（有通知男方），通过法院冻结我一个人的财产，并在我不知情的请况下并划款至计生委账号，这样做只是我一个人罚款了，孩子爸没罚，计生部门这样做合理吗？难道罚款真的只要我一个人出，男方不用出？本来这些钱是准备孩子上学前我和孩子的花销，存的定期，现在给划走了我带着孩子还得想办法赚钱，多罚的钱我该向谁讨回，孩子爸（向他提过他不给）还是计生部门？