销售有误导，能拿回我的所谓“定金”吗？

律师好：
我是上海的，上海的一家房产经纪公司不知道怎么拿到我的电话号码的，一再打电话给我推销江苏省的房子。经不住中介的热情介绍，我们去看了一次，当时中介就说这几天正好有优惠，可以随便交多少钱保留一个优惠的名额，否则可惜了，如果不要他们可以处理掉把钱还给我的。当时在中介的不断劝说下，一时冲动就交了二万元，并签定了一份《定金协议》。当时也没太在意，上面的条款就更是没怎么看清楚就签了。事后想想我真是太冲动了，字怎么可以这么随便就签了。
然后，我才发现那边的交通很差，当时是跟他们售楼处的车去的，觉得挺近的。其实象我这种没自驾车的，靠公共交通过去是很远的，另外，周边有工业污染空气质量差，就不想要了。和中介打电话说后，中介也同意帮我处理掉，把钱退给我。现在已拖了快二个月了，也没办成。反而售楼处发来了挞定函，说我违约没去签合同没收了我的所谓“定金”。我找中介，他却一再说帮我想办法处理转给别人；找售楼处，他说只要我继续买这个钱就抵冲房款，不买就肯定拿不回去了。
现在我该怎么办，是相信中介继续等他帮我处理呢，还是直接找售楼处处理这个纠纷。我怕时间长了更不好处理。我有中介同意帮我处理的录音证据。请问我拿回钱的希望大吗？