继承权的期限问题。希望得到帮助！

76年时，我有祖母太逝世，由于当时社会混乱，我的奶奶没有时间去接管祖母留下的祖屋。[奶奶和祖母太是母女关系]于是，让祖母太同村的某家村民暂时住下或者管理。其中，奶奶多次去看此祖屋，但没有提出不让其管理。1992年左右，奶奶繁忙的事情终于结束，打算自管祖屋，但是这家村民却始终不能还回，奶奶力薄，只好收取房租继续让他们管用这里。2004年后，奶奶身体不适，也没再奔波到祖屋去收取房租。 
去年，奶奶告知父母，关于祖屋的事，希望我们收回祖屋，来到时，发现祖屋被拆去，做上了高楼。[是原来接管祖母留下的祖屋，被那家曾接住的村民拆去做下的。] 
愤怒之下，本采取诉讼手段，但是，对方却告诉我，我们有20年没有去管继承的事，不能诉讼了！ 

所以，我想问问大家，这样的20年算数吗？不是自继承人知道或者应当知道其权利被侵犯之日起计算的吗？照理说，我们是去年才知道他们拆去了祖屋霸占了土地，才一年而已！我们还可以诉讼！？ 

然而，这个说法告知后，他们却不承认，不承认有租用给予房租的事，奶奶那时也仅仅是口头的租给关系！没有单凭。
就算是这样，我们也始终不知道他们要占用祖屋土地啊！真正被霸占的是去年他们拆去了祖屋才明了他们的不轨之意！

到底怎么办呢？现在还是调节阶段，没有去起讼，但是如果他们执意不肯，我们一定会采取诉讼的，至于“20年”，应该怎么抚平？

大家，请帮帮我！