该房屋可以拆旧翻新吗？

我祖父于1950在圩镇上购买有一房屋约150平方米，当时生育有五子五女，并在1953年取得了县人民政府颁发的屋契，当时屋契上是写祖父、母和十个子女的名字，1958年祖父在圩镇另一地方盖好三井半泥砖房分给大伯居住；1969年祖父又在圩附近盖好四井泥砖房分给二子和三子（我父亲）居住，原解放初期在圩镇上购买的房屋留下约28平米作铺面外，其余128.65平方分给四子和五子居住，并在1980年亲手写有立约书一份。1991年初，政府土地部门把所有旧屋重新进行丈量确权发证。当时祖父、祖母还建在，房屋丈量确权由祖父决定，其中旧铺的铺面包括铺面之天面是五兄弟共有，土地使用证是写祖父名字，铺后尾包括天面，面积宽5米，深25.73米，土地使用证是祖父、母在世时明确叫写五子的名字的（当时四子自己已在外建房并声明不再要父亲分给他的房屋）。五了的集体土地使用证和铺面的办证费用也是祖父一手交的。得证后，祖父把五子的土地使用证交给五媳妇保管（有五女作证），把铺面写其名字的土地使用证交给三子保管。1992年冬五子去世。为了不能让五子的媳妇带走房屋，祖父在1993年又重新写下一份立约书，主要是28平米的铺面归五个儿子共有，128.65平米的房屋归五子的继承人所有，但只有居住保管权，不能出卖，如果出卖要按五大份额分配，当时四子承诺如果出卖他的份额也让给五弟的继承人。现由于该房屋已属危房，五子的继承人在今年三月份进行了拆旧翻新，三子、四子及五个姑姑均同意其按祖父的立约书指定的界址拆旧翻新，但大伯的孙子（大伯夫妇及其独子均已去世）和二伯多次到现场阻止，并告上了法院要求五子的继承人不得拆旧翻新，要保持现状或补偿属于他们的五份之二房屋的钱。现法院联合了司法、当地政府、村委、派出所、国土所进行了调解，调解意见是土地属集体土地，房屋已属危房，同意五子的继承人拆旧翻新重新搬入居住，我等也无意见，但大伯的孙子和二伯均不服调解，继续上告，并以1953年的屋契上是写祖父母和十个子女姓名，而1991年父亲不经他们同意就把房屋一分为二，只把铺面作为共有，而把里面的房屋分给了五子为由，上诉要求判决该集体土地使用证无效。请问这有法律依据吗？