你好:我在五六年前和四川的一个客户达成口头协议。他给我打了几万元让我给他在我们本地收购玉米芯

你好:我在五六年前和四川的一个客户达成口头协议。他给我打了几万元让我给他在我们本地收购玉米芯。刚开始他还挺讲信用的，后来他打电话让我多收点他那边需求量比较大。我就照他说的继续收购，结果他一车也不要了，我收了一百多吨没人要了 ，扔了一部分烂的，剩的好的我没办法处理只能种一部分平菇把损失降到最低。种了几年平菇总算用完了玉米芯，不算工钱损失了十几万。现在事情已经过去五六年了，他当时打的钱除去我给他发的货还欠他七千多块  。现在他找我要钱居然说是两万块 。这么多年我把帐本也丢了。假如他把我告上法院我该怎么维护我的权益。（当时我认为他给我打钱让我收购玉米芯，在法律上已经可以算作合同了吧。然后我收好了他又不要了，我也没必要还他的钱是吧。所以我也没有在意，最后造成了现在的结果）