征地的安置费该不该退

我有个问题想咨询各位律师，就是我老家是四川的，在2007年的时候，修建个水泥厂征用了我4分地，当时土地补偿和安置费总共我得了八千元左右，是按一亩地一万和一万左右一个人的安置费加起来得的八千，当时村里说征了地的可以买失地险，由于镇里规定要转多少个大人，多少个小孩的户口，所以就说买一个大人的保险就要转一个大人和一个小孩两个人的户口，这样大家觉得不合理就没有人买这个保险，这样就拖到了09年，村里说现在买保险就买一个就转一个人的户口了，买一个人的保险2万5千，我当时没有买，这事就过了，到了2013年八月，生产队又征了30亩地，这次有一两家人的地比较多，有3亩，按原来的方案就可以得到7万左右，这时村里说现在国家不允许把这个买保险的安置费发下来，要买一个保险才补贴一个，一个人补贴10300，不买就不给，这样这两家就只能拿到4万左右，他们 就不干，说原来都 是发下来的，后来村里就做了个决定，让以前我们得了安置费没有买保险的把这个钱退出来，给那09年那些买了保险的人，这样当时买了保险的人相当于就只花了一万五就买了这个保险，如果当时这个价格的话我也会买，我没买当时是要2万五，如果退回去，这样我这4分地相当于只得了4000元就什么 都没有了，太不划算了，不征用的话一年产值几百元有吧，而且还一直是自己，而且也过去6年了，要不是这次征地，也不会让我们退，我想说当时做把这个保险安置费发下来也是村里做的，现在又要我们退回去给买了保险的，我想问的是我这钱该不该退，希望得到各位律师的帮助，衷心感谢！！！！！