购房认购书定金能否退回

2016年11月14日下午六点左右签订了认购书，交了1万元定金，回去看了下地图，发现附近方圆一公里左右附近有制药厂，化肥厂，发电厂。第二天一早联系售楼部，跟他们说不想买了要退定金，问原因我说是因为经济压力。交涉后被告知不退，第三天又去交涉，再次要求退定金，原因是附近的工厂污染环境，给的答案是让我们自己找身边的人来买这套房，卖掉的话就可以把定金退给我们了，录音了。问这种情况下，如果我们执意退定金，是否合理，录音中，我也提及他们销售时没有告知附近有化工厂。