农村土地纠纷

律师好，现在有这么个情况。我们祖先留下了一块太公地，到现在已经有6、7代人了，这块地是后代共同拥有的，但早几年其中一家人召集大家开会，说要用别的地来置换这块太公地，用于他私人建房，因为是祖先留下的集体拥有的土地，当时大家在会上都不同意置换，说最多只能租给他用，每年交一定的租金作为于清明节拜祭祖先用。后来这家人不顾大家的意愿，自行起草了一份置换协议，拿给大家签名并盖手印，由于某些原因，有一家户主没有在协议上签名。另外，其他有户主当时不在家的，这家人就找不在家的户主的老母亲盖手印，老太婆不会写字，签名也是这家人代签的。
我想咨询一下，这样的协议有没有效力？如果现在土地的集体拥有者都坚持这块祖先留下的地只租不换，可不可以？