宅基地纠纷

各位律师，您们好！
  我是城市郊区农民，原来有兄弟ABCD四人和父母在一个大院里生活，各自独立户口；我姑且用A来代称，B弟城市户口，66年城市招工进城一直在城市生活，在城市有固定房产；C弟，D弟和我全是该村集体人员；1990年左右C弟和D弟因重新划分宅基证各自搬离这个大院；因在80年分家产时我分得一间平房和瓦房，B弟分得2间平房，C弟和D弟也分得一间平房和瓦房；当C和D弟搬离大院时有我出了一部分费用，相当于从C和D弟买得相应房产；B弟分文为给，当时他在城市生活生活条件比我要好得多；但在96年村里面重新丈量宅基地的时候；B弟说村里的土地有的是，我要一半你要一半；当上我们关系都非常好，也没有往心里去；家里面宅基地就进行平分了；但房产依然是我的，他还是只有两间平房；自从1996年宅基地确认以后，村里宅基地批文就控制的很严格；随着我的孩子们长大，急需宅基地建房；这时我找B弟进行协商想要回C和D弟离开大院的房子建房；他说宅基地是他的不能出让给我，我也不懂法律，我儿媳妇和我儿子说没地方建房要离婚，我也害怕我孩子过不好，后来经过兄弟几个进行协商；B弟出让一小部分给我建房；我被逼无奈违心和B弟签了份协议，并要求在协议上签字永不追究；请问这样做合理吗？这个协议有效吗？本来拿这我的房产，虽然房子在他的宅基证里。现在分家的房子协议还在我手里；宅基地属于农村集体所有，按照物权法，我是村里的集体所有人，而B弟70年代招工进城早就不是集体所有人，虽然他拥有宅基证，宅基证和实际房产拥有人有矛盾；他的宅基证是否有效。我签的协议是否有效！