超生不叫罚款可以建居住房吗？

我是安徽人，妻子是浙江人。结婚后一直住在妻子家里，妻子的户口在原居住地，我的户口在安徽。我们与04年有了第一个孩子（男),有出生证，出生的第二年在安徽老家上了户口。09年又有了第二个孩子（男）也有出生证，在10年人口普查的时候，把户口上在了浙江（妈妈户口所在地）。但是现在一直没有缴罚款。11年的时候我去妻子所在地的街道申请件居住房，但是街道办的人说超生没有脚罚款，不可以建房，还说现在时计划生育一票否决。请问刘律师，如果我一直不缴罚款，难道永远不可以建居住房吗？（以妻子的名义申请，因为我和大孩子的户口在安徽，小的孩子和妻子的户口在浙江。）