祖屋地基纠纷

立办明合同字人刘翼详（我父亲的大爷爷，因其无子，我父亲过继给其名下孙子，在其坟墓上刻的孙子是我父亲名字）、刘鸿礽兹因双方思想监造祖堂，请得本宗地理择定在岭脚下园里立郊山处，监造上下二栋之祖堂，且左右旁屋数间，该基址上栋系刘翼详之菜园，下栋系刘鸿礽之田，现今祇造上栋三间，用费俱系刘鸿礽用出，其屋是为刘鸿礽之业，再欲造前栋祖堂并造门楼围囿院暨进牌费用双方均派，为双方共有之业，嗣后刘翼详监造上下栋右边旁屋搭联上下栋扇刘鸿礽不得阻挡，至于上栋祖堂为双方共有，此系二比情愿，不得反悔，将来发达人财丕振家业声yu余等之所厚望也，今欲有凭立办明合同字二纸各执一纸为据。
外批明刘翼详造成旁屋之后刘鸿礽右边原祖堂之房间调与刘翼详，刘翼详造成房屋一间调与刘鸿礽存照证。
中华民国三十五年十一月
                    代笔人：蓝建动证

                      日立办明合同字人：刘鸿礽
                                        刘翼详（証）

因当时签合同几年后刘鸿礽去世，当时只建造了上栋三间，后来对方家里来了一上门的男人，之后就不愿履行合同了，现在上栋三间老房子已经倒塌，我家现想将这三间的地基（原来是我祖祖父的田）收回，而对方不愿意归还，我们下一步应该怎么处理呢？谢谢！