收回因治理水土流失而新增土地是否合法？

我家于2002年分得一块荒地约一亩左右，由于南邻泌阳水，受河水冲刷严重，自02年起全家开始在地边种植芦苇和柳树，历经20年的防护治理，这片荒地由小而大，至今有10亩左右。我们在荒地上种植了1000多棵速生杨树，已有碗口粗了。近年来县政府在河上修建拦河坝，对河道附近征收土地，我村组有关干部收到前期土地赔偿金后迟迟不发放并且，打着少数服从多数的名义要求收回所有荒地重新分配，无视我们二十年来的治理维护水土流失付出的劳动，多次要求我们交回荒地。我们不了解相关政策法规，和具体的保护自身权利的方法，请专家们给予指导。