高兴区西子曼城霸王条款，我的定金没法退了么？

本人家在上派，因做IT行业想以后在高新区发展，所以想高新区买套房以后定居，在合肥买房首套房，社保交3年多了。

今年8月份开始关注西子曼城开盘，期间去了几次感觉还行。但是当时我告诉置业顾问我的征信有点问题，上大学时办的信用卡有逾期记录，担心贷款下不来，所以我拿着征信报告给置业顾问看了。

置业顾问说帮我问问，当时问了几家银行都不行，本来准备就算了，等以后记录消了再买，可是置业顾问又跟我说建行可以贷需要提高首付和利率，这个我都答应了，但是银行也没说就一定能办下来。

9月14日跟置业顾问说了一下午，给我们写个协议盖个章，说以后若贷款办不下来就退首付，但是就是不给盖章。然后就让我交定金，说给我们写个协议但是只能签字按手印。之后我们也妥协了，交了2万定金。

到9月20日，我们去签合同，因为之前在网上看了签合同注意事项，所以想在合同里加上之前他们写的协议内容（如按揭贷款办不下就退首付款），但是他们就是不加。之后我说在之前给我写的协议上盖个公司章，他们也不给盖。这个时候感觉自己很被动了，而且咨询了律师说他们签字的协议没有法律效应，这样我是在不敢交首付款了，因为一旦贷款下不来，如果不全款买的话，我可能连首付款都没了。所以我也不敢买了，想退定金，他们不行，因为签了订购书了。

我想问下像他们这样的霸王条款，我的2万定金就退不回来了么？工薪族，存点钱实在不容易。。。