父亲没结婚前打工在惠州买了一个地皮，划分出来写的名字是父亲的

父亲没结婚前打工在惠州买了一个地皮，划分出来写的名字是父亲的，地皮买的钱都是父亲去打工赚的钱，房子建起来一层，基本上钱都是父亲在出，但是也有其他亲戚在帮忙建，可能多多少少父亲的兄弟有一点。
房子建了一层，由于父亲还没有结婚，就一大家子住。父辈结婚后，在惠州建起来的房子基本上都是父亲的兄弟在住，自家人很少在惠州住。
过了十多年，房子陆陆续续也加建几层，由于我们长期生活在外，惠州建起来的底层房子都是父亲的兄弟在生活跟出租。
现在父辈的人，就说一层建起来的房子是共同的，三个兄弟都得分，不算我父亲的。说那时候父亲还没有结婚，是本家的！！！
由于我父亲生性也比较孤僻跟沉默寡言，什么话都说，也不会跟家人说一些事。父亲的兄弟说什么就是什么，现父辈的兄弟一口咬住说底层建起来的房子属于公家，属他们三兄弟所有！
请问这种事需要怎么解决，房子的底层是属于谁的。