购买建材被忽悠了怎么办

8月25日我老公参加了工厂采购会活动，在张家界澳威门业交了1000元订金，他们规定三天内必须转或退，如没退则退不了了，26日我去他们门店看了，没有喜欢的，当天比较忙，反正三天可退，就准备27日退款，27日我又拿着礼品去退，店员要我不急着退，白色可以，不一定要灰色，灰色在哪里都配不到，老板又不在，要我等，我等了一会有事就走了，28日又去退，老板又没退，给我介绍他们店里说适合我们家。人一多就被忽悠了。转成正式订单，但没去我家量尺寸。
30日我想退但他们门店关门出去了，31日早上去找他们，说过了三天可退期限。已对他们造成直接经济损失，不退。我就弄不明白，他们没去我家量尺寸，没给厂家下单，怎么造成直接经济损失，不是强迫我去他们家消费吗？而且他们家的价格也不便宜。