祖传房屋，土改时由他人登记产权

案件：解放前他爷爷潘润德在先祖遗下的约200平方米的土地新建两间及四面围墙的泥墙房，建成后不久，（他爷爷潘润德有三个儿子）大儿子随父母工作已迁出农村户口，二儿子和小儿子户口还在村里。我爷爷因为是贫苦农民出身，当时系无房户，便和他爷爷商量，当时经过他爷爷、奶奶同意把房子借给我爷爷潘成有暂时居住，借住期间没有收取任租金。解放后，土改中进行房产土地登记时，因为他爷爷潘润德家房子土地比较多怕被批成“地主”，所以当时该房子登记的是我爷爷潘成有的名字，（我奶奶和她奶奶是亲戚关系，而且我爷爷和他爷爷也是同村兄弟）并一直居住了几十年，因为房子是泥土房，时间久远已经属于危房，我爸爸于2003年重新买了一块地起了新房，现在我们两兄弟结婚生子，因为人口比较多，又已经分家分户，之前200平方米的泥房在前两年已经全部倒塌，所以申请了一户一宅打算在之前居住的老房子重建，村委和街道办已审批，但是他爷爷的后人（三兄弟）过来干扰不给我们建，理由是当时房子只是暂借给我们住，不是我们爷爷的房子，而且还拿出了文字书面的证据，上面写明房子于1988年11月份要归还，我爷爷也是同意的，上面有村里队长的签字，但是这么多年一直都没人跟我们说过这件事，况且我爷爷也已经逝世了，我们一直在那居住了几十年，后经过村委的调解，他们同意200平方米的土地只给100平方米给我们兄弟建房，剩下的100平方米不给，可是我们两兄弟一户4口人，平均分下来才一户50平方米太少了不好建房，所以没同意。本来想适当的补偿一些房子的钱给他们，然后那块地给我们两兄弟建房，但是他们家的大儿子潘茂生坚决不同意（主要是大儿子潘茂生的房子在镇上已经属于拆迁的范围，他想回农村来建房，因他另外两个兄弟已经把地建完了，他目前没有地建）
我想问下他爷爷的后人大儿子潘茂生的户口已经迁出农村是城镇户口，剩下的两个儿子每个也起了几幢房子，而且土改时房子登记的是我爷爷潘成有的名字，房子后来一直是我们居住使用了几十年，我们两兄弟申请一户一宅各100平方米建房村委和街道办也已签字盖章批了，现在这种情况我们可以申请在这200平方米的土地建房吗？能不给他们吗？