银行卡号和身份证号被人知道会不会有危险

昨晚玩游戏的时候，系统去我得了2等奖，我去网站填完资料后，才发现要交1600元，然后我觉得自己被骗，就不去理会，可是今天他打电话过来，说如果我不交钱，我就是违约合同要交违约金上万， 他还把我的银行卡号说出来， 我该怎么办   他知道我的卡号。姓名。还有身份证号码。