这样的二手房购买合同，有效吗？

我是买家，25日下午看过房后在中介的忽悠下，冲动的付了2万意向金(再三确认是好退的）。清楚的记得就签过一份房屋买卖居间协议，A3纸大小二边签名。中介明确告诉我，房屋买卖合同要双方协商好当面签署才能有效，不必担心。我又反复跟中介明确约定要第二天女儿回来看过，确认资金情况后再决定要不要购买此房)。其中我以身份证不再身边为由，仅拿出了驾驶证给中介。后又与中介通过电话，再三说明天才能决定是否购买。可25日晚上11点多，中介打来电话说因为房子抢手，他未经过我的同意把我付的意向金转为定金付给卖家了。电话中双方争执不，下约定第二天约上卖家再谈。此时我以为我不买此房，只可能会损失2万元。26日晚上到约后，没能跟卖家谈几句（至是我第一次跟卖家谈话）就被拉走了。到了中介公司，公司的业务经理给了我有双方签名的购房合同，说合同已经生效，不买房要赔偿20％的房款。可我还没确认是否购买，没看过卖家身份证，没见到卖家房产证，没商谈过付款方式，怎么可能签下合同。而且和中介25日晚近一个小时的争执中对方也没提到过合同。现在这样的合同能否解除，请好心的律师帮忙解答，谢谢！