我们村一共十个大队，我们家属于三队，1999年队上大部分人都同意想退出一块40亩的耕地

我们村一共十个大队，我们家属于三队，1999年队上大部分人都同意想退出一块40亩的耕地，当时还在拿公粮，我们队上大部分人闹到了镇政府，村委会和镇政府才同意他们退出这块地。但是当时的村长，没有及时在队上退地户土地承包本上，消除退出地的记录(也就是地是成功退了，但每户土地承包本上还有记录)。后来经过队上人一再要求，村委会又给队上每户重新补偿了退出的相同面积的土地。但是每户土地承包本上没有做更换土地的记录。2000年村委会以招标的形式向外承包，我父亲当时以最高价格竞标成功，承包了我们三队上集体退出来的这40亩地。并和村委会签订了合同。由于近些年土地承包费的增长和国家2003年开始取消公粮，队上的人开始动歪脑筋，仪仗这土地承包本上的记录，想要要回我家现承包的这四十亩地，说我们的合同无效，村委会违法向外承包他们的土地。现在土地上种的果树，并且自己也发展了养殖业，和盖了几间房子，自己办好了水电。请问我们家应该怎样维权，请好心的律师帮忙解决一下，或是出出主意，万分感谢！！！