这种情况下我们该怎么办？

我爸有两栋房子，前妻跟两个孩子住一栋，我爸、妈和我住一栋。我一家三口住的房子是我妈跟我爸结婚以后建的，这个房子地址的户口本上只有我和妈的名字，爸的户口不在这里。爸平时和前妻他们一直都有联系和来往，现在他们住的那房子要拆迁，爸提出由他们出钱在我们住的房子上加建几层，一起住，我和我妈都不想同意，因为这样对我和妈不公平，特别是对妈来说。但又怕爸爸骂，因为爸以前和妈吵架的时候就经常说是这里的房子跟家具都是他的，让妈走开。请问，像这种情况我和妈妈该怎么办，有权拒绝吗？如果真的加建了让爸的前妻他们住， 万一以后这栋房子也要拆迁，那房子的产权属于谁？他们也有份分到补偿吗？