农村房屋审批纠纷问题维权

2003年我向村委会提交了房屋审批申请，村委会答应了，并带领我去乡政府土地所上交了1100元的占地税收取费（审批费），说手续以后过一段时间就下来了，然后村干部还有乡里的干部就在村里给我先放了宅基地，我们就盖了房子，自己以为手续很快就会下来，结果一直也没有消息，直到2007年村里又给退回了600元钱，当时任何人也没有说房子批不下来，说慢慢就下来了，结果到了今年村里突然通知我们说我们这种情况的得向村里交5000元钱占地费，说我们房子没批下来我们属于占了村里的地，要想再办审批手续得先交村里5000元，然后再向乡里交3000元（批房费用长到3000了），才给你办理，村干部还说乡里叶支持村里收取我们5000元钱的做法，我们都属于村里当时同意批的只不过手续当时他们没给办下来，可当时费用我们都已将交到乡里了，结果现在他们又这么说了，我们怎样才能维护自己的权益呢，难道他们这样做不违法吗