临时房协议纠纷

我门前原来堆放稻草地在我没有回乡定居时被鲍某搭了一个铁皮房做理发房，2000年12月鲍某拆了要建砖木结构房子，我不同意，大队出来调解，让我们协商，有三人在场双方签订了一份协议，内容大致是鲍某在我门前地皮上建房，到2005年到期，房子按当时的造价每年按5%折旧费扣除买给我，由我使用该房屋，若一方违约则按当年营业额交违约金，双方签字，大队盖章，同时我在大队办理了土地使用费。但到2005年底我要房子时，鲍某拒绝交出，到大队里鲍某说我逼她签字的，（我有见证人可证明不是逼她的），还说大队里跟她有盖房协议（即遇到拆迁，大队不付任何费用），大队主任就活稀泥，说房子锁上，谁也别动。
今年我想要此房停放汽车，找大队主任，主任推说找不到对方人，第二次又说你的协议没有公正处公正无效。我现在怎么办，可以法院告他们吗，请律师给个主意。