专利代理合同纠纷

本人于13年4月份委托一个专利代理机构申请一个实用新型专利，签订过代理合同，也缴纳了专利费代理和申请相关费用5000元。我也书写并提交了申请材料给代理人，然后收到了专利局的专利受理通知书。接下来应该就是等待专利局的授权通知。
    专利局与13年8月份下达授权通知，和缴费通知，缴费截止日期是13年10月份，超过该时间就认为是放弃专利权。但是因为专利代理人并没通知我，导致该专利失效。并且是13年12月份我自己打电话到专利局查询才知道该专利过期的结果。现在我提出是因为专利代理人单方面没有履行跟踪和告知的义务要求退还我缴纳的所有费用，因为他们违约了。而且期间每次都是我在催他，他一点都没有把这件事放在心上。
    但是专利代理人现在一口咬定说当时肯定电话通知我了的，说是我自己忘记去缴纳相关费用，不退款给我。我现在该怎么办？
    我想起诉他，我能拿哪些法院认可的证明文件？去年8-10月份的通话记录查不到，因为移动只保留6个月的通话记录查询，那怎么办？难道时间和钱都耽误了，最后我自己吃哑巴亏？有没有办法至少追回一部分费用呢？