二手房买方违约需要承担卖方巨大的经济损失吗

您好！
我2014年11月16号，看上了一套二手房，之后在中介那里交了3万的定金并签了房屋买卖合同。当时也没有仔细的看合同，想着中介会促成房屋买卖，应该没什么问题。
当时口头说是65个工作日可以办完手续入住，但是到了1月31日，他们通知我卖方办理完解押手续可以去办理其它手续了，我就是感觉这个手续办的太久。
中间我和卖方没有沟通过，一直是和中介打电话联系的。现在我不想买这个房子了，首先感觉时间太长了，另外，我是14年6月毕业来郑州工作，工资也比较少，买了这个房子给我的压力也非常大。
前两天和卖方见面协商。
首先我说当初中介口头承诺65个工作日完成所有手续，现在也等了这么多天了，我是不想要这个房子了。但是中介说的确是65个工作日，把合同拿出来说65个工作日是从卖方解押完开始算的，也就是说从11月16日开始我的等待就算白等的。这样我也没有什么证明，只能算自己没有好好看合同了。
另外，我们签的合同中有一项违约内容：若买方违约，则无权要求返还定金，而且要承担卖方由此产生的其它经济损失。
现在的情况是卖方一直盯在其它的经济损失上，说有几十万元，全部要有我来承担。我感觉自己也挺亏的，3万块钱赚的本来就不容易，就算是我理亏赔偿给他了，但是卖方不同意，一定要赔偿他的经济损失。如果我不赔的话，他说就把我告到法院去。和父母商量了一下，说要是真的上法院了，父母就把老家的房子卖了，也就七八万块钱，但是也不够还啊。
我就是感觉心里不舒服，想咨询一下律师碰到这样的事，责任都在我身上吗，一定要赔偿那么多钱吗。
谢谢！

补充：我仔细看了一下合同，上面写的是：
甲方保证自本合同签订后贰拾个工作日向贷款银行提出还款申请，（乙方采用按揭贷款付款方式的，甲方保证自乙方银行贷款审批通过后）按照贷款银行确定的还款日期当日或之前，还清按揭银行贷款。甲方领取其它权利证后及时办理抵押登记注销手续。
我感觉是不是应该是我先去申请贷款手续，通过之后卖方采取办解押手续呢？
如果不是，卖方解押产生的大量贷款和费用就需要我来赔偿吗？