经口头协议土地互换如今对方耍赖

在第一轮土地承包分完地我们两家为了耕种方便，A地与B地两家都有地为了耕种方便我中A地他种B地，B地土质好而且有灌溉条件，A地属于沙滩地没有灌溉条件所以对方当时就多给了我几分地，在互换后不久对方就把他种的B地就卖给他人建房了，最近几年对方又要求去我的A地种一部分地借口是：当初给的我地多。我不同意，对方就强行种了一部分。如今工厂要占用我的这块土地，涉及到征地款我们双方就发生矛盾了，当初的口头换地协议人家不承认了，对方说我的土地多当时我没有都换给你，多出来部分是让你耕种不是换给你的，（因为当时土地互换后一直由我耕种，就最近几年他强行耕种了一部分）像这样的情况打官司我会不会胜诉？会退还他一部分土地吗？