有人阻碍我领取土地征用款怎么办？

我家有三口人的耕地，两块共5亩，四年前，因地邻家种的树长大了，我家一块耕地几乎绝收，经协商,他家种有树的土地（我家的和他家的），我家种另外没树的耕地地（他家的和我家的）。因我家有三口人耕地地，他家有两口人耕地地，经协商，多余的一亩多地他种，每年给我家五十元，并说如果征地，还换过来，谁领谁的征地款，可去年，乡里吧他种的那块的收走了（我家的和他家的），他居然说是他家的不让我家领土地征用款，我该如何做？