20年前调换的自留地使用权归谁？

20年前调换的自留地使用权归谁？问题是当初调换时没有任何书面合同，只有口头协议。现在对方要求调还土地（原因是村土地档案记录名是他的名字，当时没改）。我不同意调还土地，原因是原来我调给他的那块地已没有原先的使用面积，（地的一些面积已做路了，还有现在两块地的使用价值不同)。在调换的20多年中双方没有异议，现在我不同意调换，继续使用有没有使用权。