农村自留地被邻居占用盖车库

我家前面原来是我家的田，后来后面邻居的大儿子分家出来宅基地批到了我家田里，房子建完后，还剩一部分田，仍旧是我家在耕种，每年该交的费用都有交。前几年村里的田都被收上去承包给大农户了，剩一部分地村里分给了农户作为自留地，我家分到的就是我家前面那块。五年前，我家前面邻居占去要建车库，我家不同意，为此他们还推翻了我爷爷奶奶的小屋（小屋至今坍塌着，爷爷拿不出房产证，村里不让修），他们家车库地基砌好了没有建起来，但一直占用着。村干部五年中给我们的说法一直是执法队会来拆掉的，至今未拆。现在他家又要建了，村干部还有镇领导过来调节说让我们同意他们建，村里就允许我们把爷爷奶奶的小屋拆掉以后贴着我家东边墙壁也修和前面车库一样大的地方，（他家占去的车库地基大概4*13米）。我想问下自留地拿不出书面材料证明是我家的，是不是村里就可以收回给别人作建筑用地？执法队五年没来拆，我家还能要的回来吗？查了一些案例，法院不受理或者就是建议协商解决。村领导劝我们吃亏是福，难道我们就真拿他们没办法了吗？我家五口人，他家三口人，车库算不算住宅用地，农村有没有规定人均住房面积是多少呢？