这样合同能生效吗？

我老夫妻俩年岁均在80上下，身体多病，需换房养老。4月4日房中介近中午带我俩看房，房主不到场，中介敲开房门，门内正值一公司十余人正在办公和开会，十分忙碌，他们勉强同意看房，但照常工作开会，显然我们干扰了他们。进房后看两主卧室，大卧室窗帘关闭，纸箱整齐从地面到屋顶堆满4分之3房屋，室内光线灰暗，另一卧室，是经理办公室，只半开门给看了一眼，还有一小房间不给看，厨房另乱不堪，根本没有看到管道煤气，-----约不到10分钟就离开了。下午老太赶忙去人民医院取核磁共振报告，4：30分钟刚到家，中介催谈价格签合同，我夫妻俩此时本已精疲力尽，只是就房屋价格商谈后
就匆忙签订了合同，签合同时，对方仅女方到场，其房产共有人并未到场，也无经公证委托，就交了订金，应预交2万元，因毫无整备，当时临时从身上存折去银行取了1万4千元，欠6千元。晚上睡觉时发觉问题多多，第二天上午即向中介和对方提出要求合同作废要求退还定金，均被拒绝，甚至提出违约要10万元罚款等云云。时间已过去7天，请问此事该如何处理恰当。
                                         陶先生