宅基地

我父亲老弟兄仨委托我二哥（注：书面委托，但都没有签名授权）以宅基地（注：当时只是说以房屋）与国营林场土地进行置换后，二哥建房后一家一套房子。当时我就提出异议！不想做这件事，后来考虑到亲情，我父子俩与二哥单独签定一份住房协议：“我以一块住宅地皮置换三楼住房一套，门面房一间，产权归我所有，并注明住房和门面房的具体位置”j具已签字认可！
    现在出现问题如下；
  一：  1：由于所指住房有地下室（注：门洞在地下室处，所以所指三楼实际为四楼），父亲不想要！一直没有搬离老房屋。
    2：所指门面房并没有建设，所在地块已经被二哥转让他人！
    3：除了宅基地以外还有我家后院，猪圈，厕所以及公共场地的置换方案并没有协商！
   二;二哥因病离世后没有指定人员与林场继续协商后续事宜！
   三：我所在村又与林场协议，要在置换后的场地[我家老宅基地处]建学校，现在村委会和林场要拆我家房屋！
    现在我一家不认可之前的协议以及委托，继续住老宅不想搬离！不知我家这个主张是否有理有利？如果林场和村委强行拆房，根据上述，是否合法合规？我该怎样主张我的诉求？
                          谢谢律师