养子不赡养老人、不参与埋葬老人，是否有老人宅基地的使用权？

我曾祖父和曾祖母有一养子A,A在曾祖父和曾祖母在世时不履行赡养老人的义务，两位老人生病时不出钱、不出力、不照顾，2000年在村委会的见证下我爷爷B担起了赡养两位老人的义务，并且在村委会的见证下养子A放弃宅基地的使用权，同意我爷爷B对两位老人进行赡养送终，并签有协议（现已丢失，但村委会和曾祖父的女儿可以证明这些过程），养子A也迁出两位老人的宅基地（养子迁出原有住房，我爷爷B出于对养子A的同情，留有一块自留地给其盖房居住 ）。之后我爷爷B对两位老人赡养、送终，两位老人去世后，爷爷B在两位老人的宅基地上建了房屋，我的父辈兄弟几个也在两位老人的宅基地上建有房屋。如今（2015年）因为房屋拆迁使宅基地价值大增，养子A突然拿出宅基地证（大概是85年发放的宅基地证）要求我父亲、叔叔和大伯把宅基地归还给他（爷爷A已去世）。由于年代较远，当时签的协议已经丢失（前文有提到），只有村委会和曾祖父母亲属的证词可以证明养子A不愿赡养老人且自愿放弃宅基地的使用权。请问这种情况下养子可以以法要求我父亲、叔叔和大伯交出宅基地的使用权吗？