身份证下有不属于自己的银行卡

我的身份证下有一张不属于我的工行借记卡，并且办理了网银，可能与我前年在火车站遗失身份证有关。我想要消掉这张不属于我的卡。银行方面说我没有拿着卡，也没有密码，并且是异地办卡（我人在北京，这张卡是在广州办的），可能存在协议的问题，不能给我销卡，只能先关闭网银。
我比较担心，不属于我的卡的这种事既然能出现，那么这张卡被用于非法使用的行为也是有可能存在的。请问遇到这种情况，在不亲自跑一趟异省的情况下，我该如何消去这张卡。
谢谢