想收回农村自留地的使用权

我岳父在30多年前有48平方的自留地，当时因大队支书说要种苗圃而给他种植。种了二三年，大队支书通知我岳父去拿农田使用费（10多元钱），并要求我岳父出收条并注明此自留地归他长期使用，因不敢得罪书记，不得已我岳父写了收条。此后三十多年，再也没有拿到这位书记赔偿我岳父的农田使用费了。前几年这位支书去世，我岳父想收回自家的自留地，前几天碰巧遇到这位过世书记的儿子，我岳父便说起要收回自留地的事情，不想书记的儿子断然拒绝，并说这个田地只有使用权，没有所有权，现在使用权已转给了他父亲，现理应由他继承。
     请问：如何才能收回自家的自留地？恳请回复为感！
     谢谢！