农村建房问题，请律师们给点意见

我老家所在地为汕头市潮阳区和平镇的一个村里面，十多年前在乡政府买了一块地（改地应该为农田地），现在周边很多都已经建成房子了，我家的地刚好在中间，由于乡政府当时规划地的时候尺寸出现问题，导致现在房子的门前过道要缩小60公分左右，房子的本身尺寸不变，这样前面的房子才有得建，我们现在要开始建，也是按照政府说的新尺寸建，但隔壁排的人没钱建房子，看着眼红，于是也跟着我们一起说要建房，他们就是一定按照以前乡政府的尺寸建，所以导致我们现在要开始建的房子搁置着，请问各位有什么办法可以让房子建起来吗，谢谢了！