烤烟房下面的土地如何要回来

我家有块土地，有土地证明。十年前想建一个烤烟房，但是没有指标，另外一家有指标，但是没有地，所以两家合作，我家出地，他家出烤烟房，实际上建烤烟房的钱是政府出的。之后我们家只考了一年烟叶，之后就是另外那家自己一个人用烤烟房。全部是口头约定，没有书面协议。今年政府进行土地确权，那户人家带人过来量地，把这个烤烟房填成了屋基地，想顺理成章把考验房和地一起占为己有。我们家就不依，想让对方写个协议，说明那块地是我们的，烤烟房是他的。因为怕以后他的本子下来了。把烤烟房写成屋基，地就被他抢走了，协议书可以作为证明。但是对方不答应。我们想让他把烤烟房拆了，把地要回来种庄稼行不行。或者他不拆房子，但是我们的地不被他抢走。请问这种情况下我们如何拿回自己土地的使用权？