这样解除委托关系是否有效

我有兄妹5人，父母均已过世，后父母的老屋（房屋没有产权证，只有以我母亲名字的土地证）一直由弟弟一家居住，现在因城市改造拆迁，弟弟也以要和拆迁办谈判为借口，自拟一份委托书，让我们其他四个兄妹在委托协议上签了字。但签字后，弟弟的态度与之前判若两人，并声称：想要分老屋拆迁款，你们做梦。现我和大哥均后悔之前的草率签字，再加上年事已高，已经记不清委托书上面详细内容。后就请律师写了一封函寄到拆迁办，声明我和大哥已经和弟弟解除房屋拆迁委托关系，并且我和大哥还寄了一封函给弟弟，而且还打电话告知了他。我们这样的做法不知能不能和他解除委托关系？而且有的律师说，如果我们签的是全权委托书，那么我们无论做什么努力，今后打起官司来都是输，真是越说让我们心里越没底，拜请各位律师指点。谢谢！我和大哥就只想得到我们应得的一份，安度晚年。