关于早生早育的罚款问题

本人是温州瑞安人，丈夫是河南人。
我比丈夫大三岁，生孩子的时候他还没到合法结婚年龄，所以结婚证是在孩子出生以后补办的。孩子出生以后就收到了当地计生办的罚款通知，要求去谈话，据说去谈话以后如果不交罚款金就可以提交法院立案，所以一直在避而不见。不是不愿意接受罚款，而是认为他们要求的罚款金额不合理。
查过计划生育条例早生早育按当地民均收入的1.5~2倍罚款，就算民均收入在1万，那罚款最多也是2万吧。可是一开始他们不告诉你多少金额，只催促去谈话，谈话以后他们可以拿此漫天要价了。所以托熟人问了计生办里到底想要我罚多少钱，得到的消息是十几万。
本人没有工作没有收入，面对巨额罚款实在无力，所以只好将自己户籍迁到老公的户籍所在地，以为可以根据老公当地的民均收入处罚，但是女方户籍所在地的计生办还是没有放弃，虽然没有立案，但是他们说我是在迁户口之前生孩子的，所以还是在女方户籍所在地罚款。
当地计生办还以返还地作为威胁，意思是如果我不提交罚款，就从我的返还地里面扣，虽然我知道我没去和他们没有谈话签字，不能提交法院立案，他们也不能擅自处理我的返还地，但是还是心有余悸，不知道该如何处理。
面对这种不合理的处罚金额，面对他们像土匪一样地上门抓人，吓唬我说要坐牢，我不知道该怎么办。
请律师给点专业意见，谢谢。