农村建房，置换出的土地，现在说移位了，不让建造

我家在农村，然后我打算在一块地上建房，那块地属于农保，我申请置换了。一年多时间，土管局说审批好了，我家在今年5月份开始建造了，我们严格按照他们划分的区域建造的。但是现在他们说位置错了，移位了，不让我们继续造了。我家已经投入了5W多了。这种事情有具体的规定吗？该怎么解决， 谢谢了。