农村盖房纠纷

十年前，农村娶媳妇要房子，由于我没有房子，所以我大爷就把自留地一亩给了我，让我盖房发展养殖。当时写了一份协议，有四个人的签字按手印。可是那会没钱，只垒了石头地基，　直到现在还是地基基础。可由于时间长了地基石头也倒了一些，周围全是长的草。现在我准备重新垒石头地基，盖房，可是我大爷的儿子姑娘阻拦，又砸石头，不让盖房，我去和他们商量不妥，坚决不让盖，说是他们家的地，不让我们动。说那当时写下的协议他们不同意。我想咨询律师，这种情况我们怎么处理。