二手房交易违约赔偿的问题

我在一家房产中介的推荐下看了一套房子，交了一万元定金，和中介签订了一份房屋买卖承诺书。现在中介说房子不卖了，还说定金没交付给卖方，只退定金，不予赔偿。
    我们和中介签的承诺书里面只约定，卖方收取定金后违约的，需要支付双倍定金为违约金。
    现在这种情况我是否可以要求赔偿，应该找哪一方？

    我们与中介签订的房屋买卖承诺书中有一项：买方承诺按合约购置该物业，并委托中介向卖方支付定金；承诺书自送达中介即视为送达出卖方，承诺即成立；中介支付卖方定金视同本人支付。