土地纠纷

我是一名八零后的农村人，我父亲是一位老老实实地地道道的农民，父亲有三个兄弟，在我公婆年迈之时，我二伯提出：我婆由我父亲和大伯共同抚养，我公由二伯和三伯抚养，当初由于我大伯经常外出，我婆在有生之年都是由我父亲一人独自抚养，后来在分一块养老土的时候，二伯就和我父亲说：把这块土分成两半，母亲你养，你拿一半，父亲由我和玉清（我三伯）养我们拿一半，那块土就这样分了，我大伯和我三伯不知情，但我父亲后来得跟我大伯提起过，说你要的话就把我分得的一半再一人一半平分，我大伯说我又经常没在家，我要来做什么你们拿来种，就这样这块土就由我二伯和我父亲各自种了20到30年左右，其间从未发生过任何纠纷。2012年2月份左右，我在自家种了将近二三十年的土地上修建房屋，到2013年7月份左右房屋修好，其间一年多时间也没有发生过任何纠纷，可就在我房子修好，盖好瓦没多久，我大伯,二伯和三伯及其二伯的儿子来要求说，以前那块土父辈四兄弟都有，要求我修好的房屋拆掉，重新划分成四等分抓阄，后来由村里面组织调解，我父亲把事情的来龙来龙去眿都说了一遍，由于以前只是口头上的协议，没有任何文字证明，所以他们对以前说过的话一概不承认。后来我想既然没有证据来表明以前的事，那么我也认了。我就说，当时我修房子的时候你们都知道却没有一个人提出来，现在我房子修好了你们就来叫我拆，你 叫我 怎么办，本来农村修点房子就不容易，欠了一定的债务。后来我就和他们商量，既然修就修好了，你们也别叫我拆了，我拿一块地方和你们换，只要你们认为我家的土和田无论是那里，你们只要觉得可以都可以提出来，我和你们换。但他们就是不同意，就是要逼我拆房子。请问一下像这种情况，这块土地他们都有吗？该重新划分成四等分平分吗？在商量无果的情况下我是否又该拆掉我已经修好了的房屋呢？我的房屋是否会被法院判处拆掉呢？我又该怎么办呢？？？？？？？？？？？？（注明：我大伯和三伯都是没有妻儿和子女的 人；由于水平有限表达的不是很好敬请谅解）