二十年前协议的房产纠纷

农村老房子20年前当时我爷爷和我的小爷爷他们家人做的协议，就是小爷爷同意我们拆除他们家3间老土屋给我们家在他的地方改造新楼房子的，就是造好后给他们楼下的一间并且这间的产权也是归小爷爷他们家的，只给他们祭祖使用，现在听说村可能拆迁，他们家人都国外回来说要我们拆迁后给他们一套房子无乱大小都可以，我们只愿赔偿答应一间产权面积的平方或者让他他们自己以后拿这一间跟拆迁办谈，跟我们无关，因为我们觉得他们不讲理。