户主一纸与村委会私自签退耕协议合法吗？

98年我们住的地方遭遇洪灾，搬到城市居住买的私房，耕地无偿给两个朋友代种，代种期间他们与其邻地多次发生纠纷，需要我父亲《家庭五人土地户主》出面调解，由于多次不堪骚扰我父亲在村委会的要求下，与村委会2002年私下写下退耕协议，我的家人得知地后多次找村委会协商想要回耕地，但村委会以户主退耕为由予以拒绝，造成06年二轮承包合同与其两个朋友签订新的农村流转合同。由于私房拆迁，我们又于07年搬回村里，户口也一直未变，农村村户口。
问题补充：现在案件多次递到法院，法院不受理，也不给回访单。要我们自己和村委会协商，村委会，镇的土地经管站，法院三方‘踢皮球’，我不知道咋办？现在求助大家，谢谢！