交了意向金，但是没有签合同，对方有权利扣违约金吗、

本人于2016年1月31日向上海*国际洗衣公司业务员咨询加盟事宜，期间对方介绍该公司正在做活动，如若预缴5000元人民币，即可在加盟合作时候享受一万元人民币的干洗机器优惠设备 。并且一再承诺如若没有合作成功，意向金可全额退款。当天晚上，本人在网上看到该公司很多类似负面消息，许多一样受骗者反应交了意向金以后*公司不给退款。于是第二天我试图跟业务员余琼联系退款事情，她便推脱放假，让我找经理联系，至今日 一直在推脱。本人向其表明如若不退款，将向有关部门反映，余琼告诉我闹事情对我没有好处。 因为缴纳意向金以后，本人并未签意向合同书，现在其经理一直催促本人签意向合同书才肯办理退款。但是意向合同书内并未提及退款条例，我并没有签下意向合同书。 现跟上海工商局联系，上海*联系我说只能退款3000，因为我单方面违约必须扣除2000违约金，但是我并没与对方达成合作合同的签约，何来违约一说呢。并且对方当时明确承诺合作不成功全额退款。， 此问题该如何解决，有什么相关法律可以提出来跟对方说明呢。