能否要回土地

您好。我的耕地给别人种了，写了合同说的是我的使用权归他所有，不的收回耕地，但今年他在总面积一半的耕地上盖了猪棚、请问我能收回我的所有耕地吗                                                有合同，写的是不得收回耕地，但他在耕地上建猪棚了。有把握要回来吗？谢谢您的解答。