买卖双方解除合同，居间人有权再扣押房产证吗

我在年初看中一套房子.总价是470万(卖方最后到手价).当初签约时没有注意到这房子的附带地下储藏室.说是赠送.但属于商用.竟有89多的面积要以商用来加税金.居间人签约时未告知详情.只是叫我签约买卖合同.并叫我支付给卖方10万作为房屋頭金和中介费2万.然后按规定的时间内支付其它房屋款和贷款事项.我一再的问询税金金额要多少.至今未告知.无奈之下我跑去房地产公司咨询.才得知是属商用标准收取的.于是我和中介和卖房人协商解除合同.卖方人同意解除但要求已付的10万作为赔偿.同时要求配合拿回扣押在中介的房产证.但所产生的费用有我承担.而中介扣押卖房人的房产证的同时.还要求支付违约金总价的2%和佣金才愿意取消.不然不还房产证.我真是感觉无语.明明是居间人没有事先在签约时未告知或提供存在的地下储藏室是商用性质.并不是公寓住宅.合同和房产证都是事后给的.隐瞒了所应该支付的税金是不同的事实.导致我无法承受这样的费用.才导致我损失的.他们还这么的理直气壮呢?求懂法的人士给我指点一条明路.万分感谢!