有关耕地的纠纷

几年前我们同村人找我们家用一块耕地换种了我们家相同面积的两块。期限是到土地30年到期，我们当时为了方便就同意了，但是现在问题出现了，他家的那快地靠近河，马上水就要冲到地里了，我又听说，马上土地政策要改成永久不变，如果那样，那快地就被水冲没了，所以我现在想反悔，但是怕那家不同意换回来，所以我想问下，如果他家不同意我该怎样才能把地换回来。
我们当时没有任何书面协议。只是口头协议，和一个证人。证人是我们小组的组长。