物流要交保证金，如果要退货该怎么说

本人在赶集网上一家北京天弘利华商贸有限公司要一批珠宝手工加工。卖家说付款后发物流，然后我就打款过去了。打了500元，然后卖家查收后说给发物流了，过了两天就有物流公司的人打电话给我说货物已经到我所在的省市里了，叫我问要物流号。我问她物流运单号码，她也给了一个单号，但是上面没显示物流动态。而且物流公司的网址也是卖家提供的。没过多久物流公司来电话，说货物已经到了我所在的附近。说是要本人签收，我说可以。然后他就说要缴纳4000元的保证金。我就问他，货物都在附近了，为什么不送过来。他就一直强调说货物很贵重一般都是要交保证金才给送到手上，（而且他还是说打到他卡上面去的）等我验完货没什么问题马上再当面将4000现金还给我，说保证金不要我的。我说既然不要我的为什么还要缴纳？他就一直说因为之前卖家已经和物流公司签订协议说这个货物太贵重，万一有什么损失的话不好弄。我心里就想着以前网购的时候什么都是卖家跟快递公司弄好了，我们直接付款就等着收货了，怎么到现在还要让消费者交保证金。更何况我已经给过货物的钱了物流费也是卖家给了的。要交保证金也是该卖家缴纳。而且卖家网站上面明明就写着只要500元押金，如以后再要什么钱的话就是骗人的了。现在物流公司又闹出这一出，我一想就觉得是骗人的了，我就联系卖家了，卖家也说是之前物流公司跟他们公司签订的协议，但是物流公司还是会给我现金返还的。我就觉得纳闷了也好笑打款前没说这有要交保证金这回事，发货前没跟我说有这么回事，现在两个人连起来问我要钱。批发的东西又不是走私的东西。有什么神神秘秘的。我就马上不让他们联系我了，也没跟他们说要退款什么的，就是直接不联系了，但是他们还一个一个电话的打。不知道这个公司是不是真的存在。公司写的是北京。我都不知道该怎么办了？万一真是骗子的话 我之前的500就打水漂了。请大家帮帮我，我该怎么做？物流公司名称是北京宏德国际货运有限公司