交了建房押金不让建房

您好：
    我是农村的一位居民，我在养殖区买了块地，我吧整个地都买断了，今年看到我们家前面，和东边都盖了楼房，我也打算今年盖的，当时和村里都说好了，他们这个样和我说你吧建房押金5000元交了，我就给你办，我当时怕村书记忽悠我，我直接和他说，你吧建房的单子给我弄好，我在交押金（我也怕村书记反悔），村书记就和我说。你吧建房押金交了，我给你办，我也说不过村书记，我在2013年9月28日叫的建房押金钱5000元，交完不到一中午，下午他就反口了，说不好办什么的，还说了个莫民奇妙的理由：你在交一万元，村里就同意你盖楼房，还是收据不给出，就是村里同意你盖了，这个不就是明白的抢钱吗，我是想请问下律师，这种情况下我该采取什么措施，我建房押金已经交了，我暂时也不去要，他们说什么，你猜不到的吧，（钱都交了，我们给你的正规发票，不怕钱不给你的，我 就和他说了，我建房押金交了，我是不会轻易拿回来的）你们拿我的钱当玩的啊，他们说这个话的时候，我就很生气。
注明：我是2013年9月28日交的建房押金，他们说很很多理由就是为了向我要钱，我一直没妥协，他们就一直给拖到11月份，我也挺朋友说，我们这里的政府开会说：2013年10月8号以后就不可以建房了，我就急眼了，去找他们，还是爱理不理的，请律师给我指条路子，找谁诉讼。请详细说下。