交了意向金，但是没有签合同，对方有权利扣违约金吗、

年初和一家公司协商加盟事宜，当初对方以活动优惠为由，让我交5000意向金，并且承诺如果合作不成功，可以全额退款。并且邮寄一份合同书让我签完邮寄回去。但是我并没有签合同前就要求退款，对方一直推脱，现在要求工商局介入，对方说只能退款3000，我单方面违约扣2000违约金。但是我与对方并没有签订合同，并且对方承诺合作不成功可以全额退款，有没有相关法律解决这个问题。