原本我们家门口有三块田，上面有一块田由于当时的工作人员填错，土地承包证既有我们家的名字

原本我们家门口有三块田，上面有一块田由于当时的工作人员填错，土地承包证既有我们家的名字，也有另一户的名字，经我们双方在二十几年前协商，达成口头协议，这块田的经营权归我方，（第三代土地承包证上只有我家名字）我方另用一块田换这块田。这么多年我家一直经营这块田。然后十几年前由于土地规划，这块田就变成了乡村建设用地。去年我们家就在这块地上做房子，但对方的弟弟（两家已分户，并且每没有取得他哥哥的委托）就以前的事情一直要挟我方，天天去政府闹，来我家闹，在迫于无奈之下，被逼着签下了一份换田协议（上面写明把那块田的剩余部分交由他方经营，但在他搞建设的前提下要保持原样不变），这份协议他并没有取得他哥哥的委托，也没有得到他哥哥的同意，是由村委会的一名干事起稿，而且签协议时没有强调经营权归他方，我方录音内容与协议内容不符。今年他就擅自砍去我家田里所种的的茶，所以我方想拿回那块田的剩余部分的经营权，维护自己的权利，可行吗?