意向金部分交付合同有效吗

3月8日我通过中介看了一套房子，当天中介要求我签订房屋买卖意向书，上面写了我交20000元作为意向金，如果房东同意则转为定金，当时我只是交了1000元给中介作为意向，当时合同下面部分写明如果卖方签字，则意向金自动转为定金，这个合同一式三份，其中我的那份有我和中介签名，其它两份有我，中介，卖方的签名。第二天我发现这个合同有瑕疵，大部分都是针对买方的，买方已经交付的意向金7天之内不得收回，而且违约责任说明如果买方违约则已交付的定金不归还并且支付中介2%房价的手续费。我当时和中介说明此房不买了，但是中介仍叫房东过来签字并没有通知我的情况下签署网上买卖合同，并且跟我说不需要通知我，我现在要解除违约，但是中介不让我和卖方接触并且威胁我卖方要求我赔偿20000定金，我想咨询这个买卖意向是否有效？我要解除是否付违约责任。当时签订意向金买方只有我的名字，网上合同我发现中介加上了我老婆名字，我要求撤销网签是否可以？