关于能否生二胎的疑问

您好！我想咨询一下关于二胎计划的一些我认为不太公平的或不太人性化的问题。
     首先，先介绍下本人的家庭基本情况，这个还得从我爸说起，当年由于生活所迫我爸被过继给了我爷爷（我爷爷是智力有障碍的一个孤寡老人），在我爸30岁那年生下了我，而我妈是四川人，在四川和她前夫生了一男一女留在了那边，由于她前夫不管她们的生活只能丢下两个孩子，经人介绍后和我爸再婚（当时经过司法是合法婚姻）就有了我，我是我爸唯一的孩子（当年我爸还领过独生子女证的现在已找不到了）现在我已经有个女儿4岁了（在我女儿1岁的时候我妈又和她前夫复婚了走了），可我们还想再生一个。但是妇女主任说要罚10万元！！理由是我妈在和我爸结婚前有生过孩子，所以我不是独生子。
    我的问题是，我妈在四川生的两个孩子和我家没有任何关系没有任何来往，我都不认识他们，也不想认识不想有任何来往！！！
他们姓金、我姓谷、（我妈姓王），大家都随父姓。从小到大我爸就只有我一个人，以后也只有我养我爸的老，我怎么就不能生个二胎了呢？？我爷爷是孤寡老人，我爸只有我一个儿子。妇女主任要10万元这不是欺负人死要钱嘛。我觉得这样对我、对我爸、甚至对我爷爷都不公平。
还请您帮我好好参谋一下谢谢了！