不欠刷卡费用的前提下，不支付信用卡年费会如何？

我在出差过程中收到招行的客服电话，通知我可以“免费使用”该行的“白金信用卡”一年，一年到期后再向我收取“信用卡积分一万分或扣取年费3600元（积分不足一万分时需收费）”。我问工作人员积分换取标准，他们没告诉我，只是一直强调“免费升级、免费使用”等特点。我开通信用卡时，没细看这条约，并不清楚积分兑换的标准。
开卡2个月后，我刷卡消费多少就还款多少，从没拖欠款项。我在发现没法满足一万积分换取的情况下，致电到招行想取消“白金卡”，却被告知要先交年费才能取消。对此，我甚是无奈。既没有享受该卡提供的特别服务，又没有欠该行的费用款项，为何要向我收取“服务费”？
到需交年费时，我现在一直拖着没付此笔不合理的款项。我不知此事一直拖着，后果会如何？