信用卡未离身异地盗刷该谁买单？

我于10月23日10：24分手机收到建行95533一短信：显示预付4170元。因当时我卡、身份证、U盾等一切都在身上，我以为是诈骗短信，就没有理踩。10：28分又接到一短信：预付1520元。我感觉不对，马上与上海信用卡中心联系，确认该2笔消费存在。我马上要求冻结帐号，不要支付款项。当时接线员说该款还未支付。下午2点左右我再打电话过去：接线员表示已授权，无法阻止支付了。10月25日网银上查询，该2笔款已扣除了。（上海消费者 上海汇付通网络科技有限公司）当时与上海信用卡中心联系：表示这2笔款暂时不用归还，等待调查。3个月内答复。我于11点到花山派出所报了案。
    请问这钱是否应该由银行负责？银行到时会不会以是我的过错为由要求我支付该款项。