住宅地问题

我们家有两兄弟，现在村里分地给村民盖房子，按理我们家应该分到两块地，但因为我们家原先还有一块空地，因为我们家不想在这块空地上盖房子（因为在上面盖的话费用很高，根本就没地方放建材），所以我们家向村委会写申请把这块地还给村委会（写了保证书，意思就是说这块地以后不再跟我们有任何的关系），村委会也同意了，但现在要分第二块地的时候，村委会又以群众有意见为由拒绝批第二块地给我们家（其实这种情况村委会就是看人办事，要是有钱有权的人他们就不会这么做了，明显欺负我们家没钱没权），请问我该怎么样争取我应得的呢？谢谢