房屋地基的继承

律师好！想跟律师咨询一些事。希望律师能给予帮助解答！先在此谢过了。本人来自贵州，我家现在住的那个地基，本来是一块竹林地，可那是属于我三位爷爷的地，三位爷爷分别是大爷爷、二爷爷、还有四爷爷的，几爷爷对我爸一直都很好，我自己的爷爷对我爸爸不太好，所以几位爷爷对我爸爸像自己的亲生儿子一样的好，他们的一些地都分给爸爸的，大爷爷早年去世了，后来二爷爷跟四爷爷就就让爸爸把房子盖在了那块竹林地上了，房子盖好了，边上还有大概一百多个平方的空地，我家就在边上盖了牛棚和猪圈，可是现在，二爷爷跟四爷爷也去世了，四爷爷的儿子又来跟我们争这块地了，他把我们家的牛棚和猪圈都拆了，说他要在那里盖房子，可是我心想，即然是爷爷们给我爸爸的，他没有权力这么做，可是他现在已经这么做了，我想知道我们有没有权力把地拿回来，以前几位爷爷还没去世时他根本就不敢这么做，他就看着几位爷爷不在了，所以就瞎胡闹，我们一家人又不懂法，所以想通过咨询有关法律来维护我们自己的利益。请问这样行得通吗？