关于旧村改造房退款

我是本村户口，在本村无房，长期在外做生意；在2008年村里通知我，写申请无房户可以购买本村盖的高层（说是本村民集资房，后改为旧村改造房）本村民3000元一平米并要求在第一期要交18万，口头承诺2-3年完工，我交完款后就一张村里开的财务单据，无协议和合同。至今已4年了，村里的班子也换届了，前段时间通知交二期，三期钱，并只字不提房价和分层，问了他们也说无可奉告，让我只管交钱，房子完工后再说。村里说这房价很可能要高于原来4年前的价格，变数还很多。因此，我跟家里人商量过了，想把钱退回来不买了，所以我想问问律师，这事合理吗？要是村里不给退，我又该怎么办？