农村土地承包

2000年的时候我家添了一个儿子，生产对上有一家人户口已转出，这家人为了逃避农税，就把土地丢给生产队了，队长收不到农税将此家人的土地划了1个人的给我家作为我家新增成员的责任地，当时我家是非常不情愿要的，是队长强行给的（当年没有签协议之类的）。并且一直由我家交公粮农税水费等。前几年该份土地租给另外的人种藤椒，每年的租金也是由队长转交给我家的，去年的租金队长直接转交给那户人家，直接告诉我们那份土他收回去了，喊我们不要再问租金等的事情了。2017年土地确权此份土地也在我们本本上，由于现在我们生产队即将要被征用拆迁，现在队长和村上都说要将土地收回去还给当时的那家人，说的依据是按1999年划地人口，土地应该是那家人的。我们找到乡上，乡上的意思这份土地应该是我们的，因为虽然1999年土地二轮承包但到2003年3月1日还有一个过渡期，在这期间土地还有个去向问题，但是村上和生产队依然咬定只要99年的确权没有我们就不属于我们。请问这份土地能不能属于我们？如果不能属于我们那我们交了那多年的公粮农税人工劳务费应该怎么算？