十多年前建好的房子发生土地纠纷

各位律师你们好！
    我们家的房子是十多年前建好的，当时隔壁的土地大概30平方是7字形状的，是属于大伯的，当时我父亲跟大伯谈好要把他们的土地买了，大伯也答应了。我们就打地基，后面铺好了石头，大伯突然反悔说这30平方不卖给你们了。要求我们把打好地基部分挖出来，我们也挖了。后来我父亲为了两家方便就把大伯的7字形状的突变拉伸成一字形状，总体面积没有边，这样方便了二家人。大家也就相安无事了十多年，前几年我父亲因生病去世，剩下家中母亲跟弟弟二人，弟弟在外工作。现在大伯他们一家四父子就经常去找我母亲，开始说，我们占用了他们的土地，后来解释过后其实是没有占用的。后来大伯他们4个大男人又找我母亲麻烦，说原先的7字形状，现在变成了一字形状，要求把原来的形状恢复，就是要求把我们房子拆了。现在我们一家不知道怎么办，非常担心大伯跟三个堂哥过来拆掉我们家的房子，请问，那么多年过去了，大伯他们这样的要求合法合理吗？
     请速速回复，谢谢各位！