房屋侵权

您好！请问一下，祖上流传下来一套类似四合院的老屋，就是同走一个大门，大门在南边，从大门进去是院子，院子共有，东边有大厅和左右东厢房，西边有大厅及左右西厢房，西大厅大门与东大厅相对向，北边有一个北厢房，房子祖祖辈辈居住，如今老化无法住人，现在东大厅与东厢房和北厢房的子孙要在东大厅及厢房的原来位置推倒重建，建成供俸他们自已祖先牌位的祠堂，我们西大厅和西厢房的人极力反对，因为同一个门口同一个大院他们不愿意隔开，而西边按村里方向又不能建祠堂，东边如果建祠堂，同一套之内建房子居住又不好。所以觉得对方侵害了权利，而对方持强凌弱，不以为然，公然拆掉东大厅和东大厅左右厢房及大门门楼，把左右西厢房房顶也伤及，各弄出一个大洞，坚持要改变房子的结构性质与用途，把东面打造成一个和南边的门，西边的厅，西边左右厢房和中间的院子连在一起的祠堂，东边建成祠堂，西边几乎一无是用，因此对方是以祠堂作为工具以达到霸占西边老屋的目的，我作为西边的子孙该怎么做？