居住在农村的非农户口男到女家可以生育二胎吗

我和老公都是因为上学的原因，户口由农村迁到学校，毕业后没有单位接收，户口又回迁到家里原来的户口上，只是和父母的户口地址一样，不再是一个户口本，属于非农户口，由于家里没有男孩，结婚后老公的户口也迁到了我户口本上，和我父母一起生活，并且分有土地，靠农业生活。现在我们有一个儿子已经五岁了，想生育二胎，但是当地计生部门以我们双方是非农户口拒绝了我们生育二胎的申请，请问我们这样在农村生活的非农户口的男到女家的真的没有生育二胎的权利吗？谢谢！