我有一张中国银行信用卡，10年6月办的，年费20，首年免年费

我有一张中国银行信用卡，10年6月办的，年费20，首年免年费，当时我往里面冲了40，没用过，也从未刷过卡，11年的时候丢失了9月银行给我补了一张卡，没开过卡，但是12年4月的时候通知我有年费，我就把年费给交了，我以为是11年6-9月之间的费用产生的逾期年费，也忘记了之前有存了一点进去，没有深究。之后就没有管过这张卡，因为想着没开卡，不会有年费，并且因为毕业的原因，手机和地址都换了，谁想16.2月再想起这张卡，去注销的时候被告知欠了100多快200的年费，当时也没考虑到会影响到征信的问题，就把钱交了，把卡给销了，现在要买房了，这样的情况下我还能贷款吗？去中行问，柜员和我说年费的影响不大，而且只能开具无欠款证明，没办法开无恶意欠款证明，并且说我开过卡，但是那张卡我确实没开过，征信系统中也显示到12.3月未激活，4月份的时候就往里面还了一笔年费，没激活过卡啊？这种情况我该怎么办？