土地存在纠纷 被征用后乡政府扣留赔偿款

我家原来有五口人的土地 ，后来爸爸有种了我邻家的一口人的耕地。现在我奶奶已经不在了，但是属于她的的耕地一直还是我家耕种着，这些年奶奶和邻家的耕地都是我家也向国家交皇粮国税，村里的人也没有什么异议。今年我家所有的耕地被国家征用去建设高速，村子里的人却要我家退还耕地，理由是我奶奶已经不在了，邻家已经不在村里住了（但是户口在家里），村民说我家多出来的人口地 是村集体的。上告到我们乡政府，要求把土地赔偿款平均分配给村民。现在我们乡政府扣留了我家有争议的耕地的赔偿款。我想问问他们现在扣留赔偿款，对吗？土地征用的时候都是我父亲签的字，土地也是一直都是我家在耕种。现在高速马上就要动工了，其他人家的补偿款也都到自己的手上了。如果政府帮我们解决问题是不是也应该把补偿款先退还我们呀，如果打官司我们输了可以在拿出钱来分啊，乡政府现在是不是u能扣留这些赔偿款啊？请律师帮帮我们，谢谢