二手房 买卖纠纷

陈兵律师：
      你好！我在中介的介绍下和卖方签订了《房屋买卖合约》，当天未给定金2万，后来家里急用钱凑不够首付，不想买房了。想解除合同，中介要我付中介费1万，和赔偿卖方4万。合同里有一款着：买方未支付定金，卖方未收取定金都算违约，需赔偿违约方双倍定金或总房款的百分之十；
我这种情况算违约吗？应该怎么样才能把我的赔偿降到最低。谢谢！！
问题补充1：
当时我以为他们在欺诈我，生意没有理会。1个月后中介发函至我单位要求我在5个工作日之内需继续履行合约，否则解约，付中介费和咨询费1万及与卖方协商解除合同事宜。我现在感到事情严重性，所以急求陈律师，我应该怎么处理！谢谢！
问题补充2：
已经卖方谈了话，卖方全权委托中介来处理这个事情，他提到他的违约金可以是总房款（60万）百分之十的一半，其他的让我和中介谈好中介服务费和咨询费！