我该怎样要回自己的责任田？

我在老家有集体小队地分配的责任田，05年的时候我在城区买了房子就搬到了市区居住，老家的责任田由两类组成：旱田和水田。旱田呢就无偿的给了本村村民使用，当时约定：我什么时候要他就在该年度的庄稼收成后归还。水田还是本人自己打理耕种。
    后来由于村里收取的农民的经济费用过高，我家就把户口迁到了镇上的居委会（户口只有我和老伴，子女都已经成家另立户头），现在我想回到农村继续耕种打理我的责任田，于是通知了那个使用我旱田的村民，但是他现在翻悔，不肯归还 说那是村干部分给他的地。
    关于农民上缴村集体的各种费用，当时通过关系给村干部打过招呼：“国家关于农户的各种补贴与必须向国家及村集体缴纳的各种费用相抵消”（也就是相当我不要国家的补贴，村集体也不向我收取任何费用）
    最近的一次村集体重新分田到户时，我们都还在农村居住，户口也未迁出。但是关于财政部门下发的“农户一卡通”我们后来找村干部索要，他回答时间长了已遗失。
    面对我多次上门索要，仍以我户口已迁出为由，不肯归还我责任田村民的行为。 

      1、我有要他归还旱田的权利吗？
      2、我该向哪个部门诉求呢？
      3、如果我把户口再迁移回原籍，我的诉求会容易点吗？