兄弟间房子纠纷

我爷爷生前造了4间民房，分给二儿子（二伯）和小儿子（我父亲）各两间，小儿子分得靠东两间，二儿子分得靠西两间。期间因小儿子外出打工，长年不住在家，所以爷爷和奶奶均住在小儿子的两间房里。自1993年后小儿子在外面造了新房后，将原有的2间老房子留给了爷爷跟奶奶，自己一家3口搬制新家。在2000年后因二伯需要造房，跟我父亲商量将我们原有的4间房拆掉3间（其中包括我家一间）为他们造新房，当初未给予我们任何补偿，现如今我们想将我们在二伯家边上仅有的一间老房加以修建，但是遭到二伯家人的极力反对，他们现认为该房子是属于他们所有。现急待你们的帮助，谢谢。