自家菜地让与别人建房，现在对方不承认，怎么办？

您好，律师。我家住在农村，房屋的后面就是一块私有菜地，家旁边是一亲戚家的房子，他当初是买的别人家的老房子重建的，因当初他家买的老房子占地倾斜房体不正，重建时他家想把房子建正，就必须要挪动占用我家后面的一些菜地，当时因关系不错就口头同意了。现在我家想将后面的菜地砌起围墙当后院，因有一面围墙要挨着他家房子的一面墙，挨着的那一部分也就是我当初让与他建房的那一部分，谁知问题是现在他不让挨着，并耍无赖不承认当初占用了我家的菜地建房，他当初买的别人老房的原主人是能证明，他家的房子原来不是这样，是占用了我家菜地才建成今天这个样子。但就是不承认，并且来我家中捣毁了我一部分砌好了的围墙，真太让人气愤，心寒。所以想请问律师，我该怎么维护我的权益？能要回我让与他建房的土地吗？该如何去要？由衷感谢！