土地互换纠纷

律师您好，1993年3月，对方因兄弟多，住房紧张，无宅基修建房屋，为了解决住宅问题，对方再三恳求，要求我家将一处菜园让给对方修屋，后经双方协商，达成口头协议，对方将开垦的茶林，与我家的菜园互换使用，一直以来双方无任何异议。但在2013年农历正月，本人无意中从俩邻居为烟火山争执一事得知：对方和我家互换的这块茶林，原来是对方三弟兄未分的烟火山，属于三弟兄的公用土地，但在1984年7月，对方兄弟将这块地就填入了他的土地使用证，当时，由于双方没有查看彼此之间的土地使用证，而他也没有告诉我们该土地属于他三弟兄的公用土地，并且使用权不归他所有。所以，我们经村调解委员会和村干部调解后，对方答应将对方的另一块责任田与我家互换，并在当时签订了协议，双方都已签字盖章。不想协议签订几天后，对方找到村干部说又反悔了，并扬言不会让我们种协议中换给我家的土地。为此，我想收回我家的菜园，（我家菜园在2010年土地调整时已填入对方土地使用证上了），请问律师是否可以！