关于自留地问题

因乙方在建造房屋时有部分建造在了甲方的自留地上，经双方协商，甲方同意将部分自留地给乙方长期使用，并收取了一定的补偿费。但剩余大部分自留地因乙方也想使用，经跟甲方协商，甲方同意将自留地给乙方使用，并双方鉴定了协议。现因甲方要使用该自留地，乙方认为与甲方鉴定合同，不肯退还，理由是在签订协议时，协议中乙方可以长期使用该自留地，但甲方认为协议上的长期使用是关于建造房屋的部分自留地，而非其余剩下的大部分自留地。问甲方是否有权收回自己的自留地。