二手房交过定金不想买了

您好，看上一套二手房，三方会面谈了价钱后仓促签了房屋转让协议（三方），并同时支付了2万元的定金给卖方。之后和中介签了佣金协议，0.8%，佣金在过户当天支付。
回来后发现这房子不合适，打电话要取消协议。被告知，定金不会返还。若毁约，除2万的定金拿不回外，还得支付买卖双方的中介费的1.5%。说在定金协议中有明确规定，我们当时签的过程非常仓促，并没有阅读内容。
后来仔细看了协议，违约责任这样定义：买卖双方有任何一方不能遵守协议的，视作违约处理。如卖方违约，则退还定金且多赔偿100%金额作为违约金，同时支付中介中介费；如买方违约，则买方放弃收回定金，定金作为违约金赔偿给卖方，且要赔偿房屋总价的1.5%中介费；如果买卖双方协商解除协议，则买卖各自向中介支付介费，作为中介的补偿。
这意味着不管如何中介都可以得利。是否属于霸王条款？中介扬言，我如果不付，就法律起诉我。
按照合同法规定买卖交易成功之后中介才可收取中介费，买卖未成功前不得收取中介费，顶多收取为此交易所付出的必要的费用。想知道的是，这样的定金协议关于违约责任这一块是否由法律效力？现在的我该如何处理定金和中介费的事情。谢谢