外出打工、爷爷没经过我们同意把我们的土地拿给村里建了村办公室

我们因为老家经济不好、所以外出打工，把地承包给别人了（合同也有的、合同上写的：如果我们不回去他就一直种下去）。结果我爷爷没经过我们的同意、擅自做主把我们的土地卖了村里建什么村办公室了。我们全然不知。（补充说一下：土地证在我们这里）。

后来我们打电话回去、村里说把别的地方的土地赔偿给我们、（我们不同意）

请问：我们该怎么办？能把土地要回来吗？或者能让他赔偿我们钱吗？（他已经建好了）。