农村土地纠纷

七八年前，我村某村民欲建房，与我交换了一块地。由于关系较好，没写协议。我在交换的地上栽了桃树，他在两年后建了房并向村里交了6000元钱。去年我们关系恶化，他要求归还交换的地，但他又不给我原来的地，并于近几天私自砍掉了我的桃树。我向村里交涉，书记说，换地不合法，村里不过问，并说他建房的地是村里的空闲地。那块地没在我的地亩册上，但我已种了很多年了，既不交承包费，和其他村民也没有纠纷，怎么就不是我的地了哪。我该怎么办，请指点。