关于农村耕地的征用及长年霸占问题

我爷爷在农村以前有一块6亩多的耕地及果园，后来村里盖学校要征用我爷爷的4亩地，给换了一块4亩左右的其他耕地，而且均是口头协议，无文件，无合同什么的，剩下的2亩左右我爷爷继续耕种，后来村支书使用霸权把剩下的2亩地自己占用盖了房子，当时也试图阻止过，可是不起作用，而且以前也斗不过村支书就一直忍下来了，现在国家不是大力打击这些情况吗，就准备试一试，不知道我们现在该怎么办呢，已经霸占了有10来年了。而且村支书也没有换过，一直是连任的十几年了。