征地安置建房用地高昂手续费无力承担

我是广西平果县的一个普通农民工，由于政府城区扩建需要征地。平果县政府相关部门于2004年承诺征收完的用地，扣除百分之十的面积和每亩扣除两万元（当年的征地款是每一亩地6.8万元整，如果需要三产用地再扣除每亩地2万元，农民最后到手的是每一亩地补偿4.8万元整）的条件拿来当做村里的三产用地，三产用地主要用于日后我们的集体建房安置。所以我们村的村民都积极配合政府进行征地配合，随着村民人数的增长（原始老宅已经居住不下）和四周村屯已经安置入住（他们是跟我们同一批征地），错代表就请政府进行安置，但是我们村得到的回应却是用于建房的三产用地，需要缴纳650余万的手续费才准许建房。但是当初我们扣除三产百分之十后的征地款只有4.8万元一亩，我们的三产用地总共66亩，平均算下来就是十万元一亩的建房手续费。由于手续费太高昂，我们倍感吃力。所以就给政府写申请希望减免一些费用便于起房子，结果政府的回应却是非常强硬。他们说这个政策是近两年才出台的，所以不给予减免。他们还说为什么征地当年不办理相关手续？我们哭笑不得，当年村领导也有去办证的，结果不是常年被拒之办公室门外，就是说没有得到相关批示，或者说没时间办理。导致现在我们已经征地近十年，三产用地却还是可望不可及，期间村民上访，结果政府调动县城警力进行压迫，还把个别村民非法关押，请问我们该如何维权？