协议纠纷

16年前，我家（父母都是文盲，大字不识）有个猪圈，在堂伯父家（高中毕业）屋的右边，伯父家的左边有块空地和一个猪圈，当时两家商量，用我家的猪圈和他家的猪圈调换位置，空地我家出钱买下，钱伯父当时也收下，于是两家达成协议，由证人起草内容，双方签字签字确认，签下协议，签下协议后家庭状况不是很好，经济条件有限于是我家没有立即对那块空地做地基打桩奠基工作，几年后伯父已去世，于今10几年过去了，我家才想起之前的协议，想按照协议在那空地上建房、伯父的儿子不承认这份协议（伯父的户口已不是农村户口了），以不知情为由，拒绝履行协议的同时，他家叔（我伯父的弟弟）说那块地是他的为由，不同意我家在那块空地建，也不承认那份协议。毕竟他们家是收了我家的钱，现在堂伯父早已去世，他们怀疑协议的真假性或不知情拒绝履行协议上说的事，现在两家都是剑拔弩张的，我家也不愿意（钱财土地一样都要不回，也不同意按原先那个钱的数量退还）这样的协议有没有那条法律法规具有支撑性的指导？怎么样才能让他们履行协议？请问这份协议还有效吗？