助学贷款问题

我09年在农村合作银行（信用社）助学贷款了5000元。并且在贷款到期日前已经一次性全部还清，信用社还开了收据的。但是现在我到人民银行查询个人信用报告，上面显示我贷款还款情况是逾期，询问银行，银行说出现过很多这样的情况，理由是我的贷款已经还了，贷款余额为0，但是财政部没有给付利息，要到12月31号财政部才会结清利息，所以我就有了不良记录。现在说给我的解决办法是开具一张证明，以后到其他银行办理信用业务的时候就去开具一张证明，认为其他银行会认同。我觉得这不应该是我应该承担的，这不是我的责任。请各位专家指导下该怎么办，不良记录7年呢，以后贷款利率要比别人要高，信用卡也办不了的。