收错快递，对方选择报警，需要付责吗？

前两天一个快递公司给我打电话，说是有我一个快递，一直打电话让我去领，电话对，名字不对，告诉过快递公司，但还是一直打电话让去快递部领取，态度蛮横，一直打电话，迫于无奈就去领了，隔了一天就又打电话，说是领错了，不是我的快递，要让我送回，当时因为情绪不太好，就说没领到过，打错电话了，之后就一直电话骚扰、短信威胁，现在仅通过我的手机号码就查到了我的真实名字和身份证上的住址，我现在该怎么办，要不要报警？
注：快递因为拿回去开包后确认真的不是我及家人的，就没有要留着不给的打算，因为现在快递诈骗也挺多的！