口头协议达成后，一方违反协议当中的一条，我是否可以不履行协议

我方为了房屋方便和不受滑坡和其它危险，便对另一方进行土地调换，经过协商达成土地调整，当我方要求土地可以换，当我土地中的木材不可以动。没有过多久另一方首先违背次条协议并言语难听，我方就告知其不调换土地，但另一方也没有给予回应是否同意调换，我方默认为其同意此次交涉为同意。我方就对自己土地进行了维护处理进行其它耕种，但另一方代理人对我方的维护进行了破坏并放言此土地已经为他的土地。