各位律师好，我们村的祀堂在解放初破除封建迷信时被罢了，因年久失修倒塌后被一户人家重建起了泥砖平房

各位律师好，我们村的祀堂在解放初破除封建迷信时被罢了，因年久失修倒塌后被一户人家重建起了泥砖平房，现时那户人家建起的泥砖房已倒塌了二十多年，我们村民决定在那块地上重建祀堂，那户人家和老村的村民执意的反对合法吗？忘了说我们这祀堂一系的后代已搬迁到老村旁边的新村。现在双方的情绪都很激动，恳求各位律师说说这方面的法律法规。补充一条：当时那户人家建房时没有经过集体的分配，用的是强占的手法。