接到某护肤品推销客服的电话，没说购买，他们所要地址后寄出商品了，我都没想要，怎么办？

昨天晚上有个人给我打电话，广州的，推销护肤品的，说上海130号码开头的用户可以享受50元的优惠券，我没在意，本来我皮肤不怎么好，我就听他说了一会儿，然后他教我日常怎么保养，并且介绍他们的产品多么的好，他说可以货到付款，原价398，折扣后348。。。随后我也没有说我要购买，于是他问了一下我的地址，我随口说了，挂了电话后我才觉得有点不对劲，他会不会把东西发过来，我可没有一点意思要那个产品，上网查了下，好多诈骗的都是这样：如果不签收或者不要了，说是有电话录音，会去法院起诉，索取违约金。。。。刚刚有个广州的物流公司短信，说我的货物已经寄出了，看来他们真的寄出来了，我如果不要他会不会起诉我？   我们又没有签订什么协议，没问题的吧？