无赖伯伯，歪理争房子

我爸爸有两条间老房子是集体土地，本来爸爸兄弟四人爷爷分给他们一人一条间的，后来爸爸把三伯那一间与我们相邻的也用一万块钱买来了，但是这个一万块钱我爸爸当时是让我奶奶拿给我伯伯的，这样也就算把房子卖给我爸了之前俩人也没有写任何字据！后来因为需要我爸就把这两间房子的房产证和土地证都办了（伯伯之前是没办证的）现在都是我爸爸自己名字了!现在我奶奶过世了老房子也升值了，我爸爸想把两间老房拆掉翻建伯伯竟然提出无理要求说不让我们把他卖给我们那间拆掉，要收回房子，说之前一万块买房子的钱是奶奶给的，不是我爸的，即使是我爸的也是一万块当房租的。房子还是他们的！
        他们有权利收回房子吗？我们现在两间老房要拆掉重新盖伯伯是不是无权干涉？