大伯想要分户主是我爸的房产

各位律师你们好，我想咨询的问题如下：有平房一间，曾经是我奶奶住的，因为太破旧，我们造了另一间房子让奶奶搬了过去，那件破的就放了杂物。我奶奶有三个儿子，我爸最小，大伯还有二伯，二伯因病早逝。大伯结婚时奶奶给他买了楼房，还有另外一间杂物间，我爸就分得一间泥墙屋，奶奶曾经住的那间本来是给二伯的，不过那时有村干部作证写过一份协议说二伯去世后他的那间就属于我爸（奶奶曾经住的那间）。大伯当时也默认了。后来村里来量房子那间土地证写得也是我爸的名字。现在村里要拆迁了，大伯后悔当时的决定了，说那间奶奶曾经住过的房子他也有份。我们现在想要把那间翻新一下，大伯说如果我们翻新房子他就来扒房子，请问律师：大伯这样做犯法吗？这间房子他有权分吗？