农村房屋土地争议

我有以下的问题想和你咨询下：
甲方：我爸   乙方：我爸爸朋友
差不多30年前，乙当时没钱治病，他把120平米自留地卖给甲造房子，甲当时拿现金连同家里40平的自留地和乙对换。
当时因为土地不能买卖，所以当时就没有写买卖合同。当时只是口头承诺了交易还请了中间人写了张把甲家40平米的自留地换给乙的条子，现金买的部分没写上。现在乙向甲要回他120平米自留地，也就是说甲要退回给乙80平米的土地。现在甲要怎么处理啊？还有当时的中间人已经过世了，只留下了当时的合同字条。