遗产纠纷

我爷爷有3个儿子一个女儿，我爸爸是小儿子，在他高中毕业以后，开了8年拖拉机所有收入都交给了我奶奶 然后起了一个楼房。我爷爷给他大儿子和二儿子都起了一间平房然后分家了。到2005年我们村上征用土地我家的房子要拆迁，大伯和二伯家突然说 当年爷爷说过这个楼房他们每人一间房，但是我爸爸却完全不知道有这事，在拆迁前没人说过这事。2006年我奶奶去世了，我也没从我奶奶那听过有这么回事。我奶奶当时是和我们一起住的，她也要分房作为以后生活的保障，但没听她说过爷爷说过把房分给大伯二伯他们。拆迁的事一直到2012年我爸爸还没点头 不肯拆。现在，政府又做工作，准备拆。我想请问一下他们在没有遗嘱。没有证人的情况下，以一句爷爷当年不知道说过没有的话，就要分我家的房子可行吗？ 我爷爷的小女儿也没听说过这件事。他们2家一起来敲诈我家。