20年前调换的自留地现在使用权归谁，当时调换只是口头协议，没有书面文章。我现在要在调换的自留地上建住房（因我没住房）。对方说此地是他的（调换前在村档案中是他的名）不准建房。我认为自留地属集体所有，个人只是使用权，土地调换使用后使用权也就调换。现在时过20多年了，此期间又没有发生矛盾，现在打官司我能不能赢。
----------------------------------------问题补充：--------------------------------------------------
由于对方的干涉，建房不能审批