家庭成员逝世后，是否应该交出他的那部分土地

我们村里有些新生小孩和嫁进来的新媳妇因为农村土地30年不变政策而没有分到土地，时任的村民小组长以生不添死不减的原则让大家一直相安无事。但是这两年因为城乡一体化对农村土地的征用赔付情况出现，那些没有分到土地的邻居就开始为保护她们未来的利益而不停的奔走相告，四处滋事。
2009年，我父亲去世后，她们便盯上了我家，她们认为我父亲去世，家庭成员减少，理应向她们交出多余的土地，为此她们不停的穿梭于镇里和村里。去年村里进行农村土地权益确认，我们曾经坚持“生不添死不减原则”的村民小组长擅自改变土地承包格局，无视30年不变的规定将小组土地以小组当时实际人口数量进行平均分配并发证确权，将我们家的理论土地权益减少（实际上的是以前该我们种的还在种），以至于在确权后如果一家有四口人的土地权益在5亩多，而我们则以实际人数的2人确得3亩左右，直接将我父亲的生前的那部分减除。因为对此有异议，所以至今我们和部分邻居都没有认可此次确权行为（没有领确权证），并因实际土地数量和确权土地数量的不符埋下争执祸根，于是导致现在没有分到土地的邻居都要求我们交出多余部分，请问我家应该交出这一部分吗？请附上根据。
谢谢！