农村双方签订建房让地协议，使用权是否能供其建设

您好，有个问题想向您咨询。我家是农村的，父亲与邻居签订了一份建房让地协议，1.把我家新房屋檐下让与邻居砌墙。2.邻居家的杂房与我家的杂房间一米宽的空地让与我家使用。现如今我家利用这个空地建化粪池，邻居跑来说地是他家的，不能建。说当初只给我家空地使用没有建设的权利。他这样说合理吗？我们要怎么做才能维权。请您帮帮我们，我爸爸妈妈都是孤儿，现在村里的干部都帮着他们，我们不知道怎么办才好。希望您帮我们想想办法，谢谢您了。