土地赔偿的有关问题

我叫潘瑞华，家住铜山区铜山办事处汉沟村四组，现年51岁，本人为独生子女，有二个男孩子，由于父母年龄较大，生活不便，于2000年春我把父母接到我家和我一起居住，同村村民郑大乐于2004年3月把与我西相邻的一处宅基地（其实就是一个坑，坑西是一条路）转让给我，当即我就把坑填平，并在路东坑西沿垒了一道约1米半高的小墙，2013年12月初同村村民郑小勇建房打基础时，因我儿媳在四院生孩子，我全家人都不在家，在全然不知的情况下，郑小勇用挖掘机把我在原先在宅基地西边约1米处所垫的土及所建的一道南北墙头挖掉，当时我80多岁的老母看原告挖我的墙头，就问原告为什么挖俺的墙头，郑小勇当场漫骂、恐吓我80多岁的老母亲，有些话不堪入耳，我老母亲气的浑身发抖，左邻右舍看了都十分气愤。2013年12月12日我回到家之后，老母亲告诉我你家的墙头郑小勇给扒了打基础了，我一看墙头已经无影无踪，墙头的石头也被他所用，我气愤之极找到了郑小勇说理，他说了许多客气的话，并且说自愿以赔偿方式解决此事；当日郑小勇带着酒等礼品找到本村村民郑心民家，叫郑心民作中间人来调解此事，郑心民当日到我家调解，本人本着左邻右舍和睦相处的原则，同意以5000元来赔偿我的墙头款及垫土款，于2013年12月14日下午原告及中间人到我家中办理了调解协议，由于对法律知识的淡薄，郑心民年龄较大且眼睛已花，写字困难，就写了一个非常简单的协议；为了好写就说不论占什么就写占宅基地一米吧，其内容为：郑小勇建房用潘瑞华家1米房地，赔偿转让费5000元，已付清，双方同意。中间人郑心民德高望众，为人正直，我相信有他作担保也不会出什么问题。
现在郑小勇拿了协议到法院起诉我要要回5000元的墙头款及垫土款，因为我的宅基地是最西边一处，墙头所在位置在我宅基地之外，
请问现在我该如何办？