我在别人的地起羊圈，现在他想拿地回去，应该然后处理？

律师门好，我想问一下关于土地纠纷的事，是这样的，我家是养羊的，但现在羊圈的起在别人的地，起那时候已经问过他家的老婆，他老婆同意了才起的，因为我们这里的地不值什么钱，所以也没有写什么合同的，然后现在已经在那里住得几年了，而他现在却反悔说不给我住了，但我说用我家的田换给他他还不愿意，再说我家的田是比他的地值钱的，他的地是山上的，我的羊圈起的时候用了几万块，请问一下这样的情况，如果现在他叫我搬走的话，他是不是应该赔偿我起羊圈的钱呢？