土地纠纷问题

请教专家：
十几年前，家里向邻居买了块地。几年前，邻居的弟弟说当时他并不知情，并在这块地上堆了废弃的木材等杂物。
我家原在农村，后父亲在县城工作，为解决子女上学和住宿问题，80年代在县城附近买地盖了房子。房子盖好后，屋后还有多余的地，为防边界纠纷，96年向邻居买了点地，形成了整齐的形状。买地时签了协议，内容明确规范，是我父亲签的字。父亲是非农户口，母亲为农业户口。此地原是自留地性质，没有土地证，依据也只有转让协议。
不知道是不是理智反而显得软弱或是无能，但是一味用强又没有必要，渴望有个思路。