农村建房村书记就是卡我怎么办？

我是浙江台州玉环清港礁西村的，我家没有房子想在村规划用地上建房（此土地是我家唯一的承包地）。根据我村实际同意把此地应征给村集体，而返还给我建房用地，村书记就是一直拖了10年不让合建（我们有四家要合建）村书记一直都是说没有规划好或者一直说规划有改动。我不知道什么时候才可以建房，镇上跑了几十次，镇长大人说是只要村里同意就没问题。我不知道这样的村书记还是人大代表代表谁？只因当初我不同意把土地私下卖给他建厂房。