二胎罚款该不该交

我是农村户口，妻子曾经是师范生，毕业后政府说这届学生不再分配！
现在我们已有两个小孩，最小的也有两岁了，现在政府招聘老师，幸运的是妻子被录用了。但是，紧接着县计生办找到我们，说要二胎罚款（我们在上岗之前乡里已经对二胎罚过钱了,并有清单为证），
我们不明白，二胎在乡里已经罚过了，怎么在县里还有一次啊，县计生委说，你以前是农业户口，现在是非农业户口，不应该在乡里罚款，必须要补请罚款！
请问：我们第二个小孩是在上岗之前要的，并且乡里已经交过罚款，现在这种情况我们应不应该再补交呢？