关于法律的问题。我和别人签了书面协议，约定好他租来的地租给我五年，但中间有些误会，和对方吵架了

关于法律的问题。我和别人签了书面协议，约定好他租来的地租给我五年，但中间有些误会，和对方吵架了。今年该交地租的时候我电话他，说要给他地租，但对方说不租给我了。电话过程我有录音。现在对方在法院起诉我，说我强占土地！！请问我该怎么办？很生气，对方很无赖。我能反告他诽谤，并要求他赔偿吗？该地块目前已种植两年，并有大量葡萄树。