交换土地30年后反悔

我家门前有一块空地是别人的，但是为了门前更宽和方便农耕晒谷，三十年前就跟他换过来了，但是没找人作证，也没有立据，换了之后我们就立即就打地堂用来晒谷，钻井取水用，也筑了围墙，也把房子围了进去，围墙和房子是连在一体的。三十年后的今天我们把旧房拆了建新楼，为了进出道路方便，就建到了门前这块三十年前换来的空地上。我们使用了三十年从来没有过问和提到过，挖土建地基甚至建好了第一层都没过问，直到两层建好了，准备装修的时候他就来阻止，说我们占了他的地方，要求我们赔偿十万元。到当地部门处理的时侯问他的时侯他说不知到，也没看见我们建新楼房。但是他家离我们家只有200米远，天天干活都从我们那里经过，怎会没看见呢？但是竟然给他说过去了。他有证人证明地方是他的，我们却没证据证明三十年前跟他换来的。经过当地相关部门调解认为应该赔偿。但我不服，能主动起诉到法庭吗？到了法庭我有胜率吗？ 急找一位惠州惠东的律师伸张正义，主持公到。