卖方拒绝履行房屋买卖合同，还想说我违约

2010年7月11日，我在中介处签定了一份房屋买卖协议，协议规定总房款为41.5万元，当时支付房主5000元定金（房主写的收据），协议规定“过户当日双方自行交接除定金之外的首付款260000元，其余部分150000万由中介方协助乙方通过银行办理按揭贷款”，并付给中介方居间费3000元（总额为6225元），后在7月19日交齐贷款手续的同时付给中介方剩余3225元居间费。
依据合同条款规定“甲乙双方约定本合同签署当日甲方将有关过户之相关证件交于中介方为协助甲乙双方办理过户用。甲方将过户证件交与中介方且乙方付款义务正常履行的情况下，在甲乙双方收到中介方通知之日起3个工作日内由甲乙双方一起办理过户面签手续。甲乙任何一方不得以任何理由及借口拖延、推辞，否则视为违约。”中介方8月24日给我和卖方发了过户面签函，现在我们银行贷款手续已经面签，卖方坚决不履行合同，并狡辩说我们违约，他的说辞是我办理过户的时间比较长（中间由于银行利率调整的问题我换过两次银行，但合同并没规定不可以换银行，且也没有规定办理过户的具体日期）。
另：合同中规定的“合同成立后，由于中介自身原因以外的因素导致未能完全履行或者协商一致解决的，均应由本合同甲、乙双方共同协商达成处理办法。中介方收取的居间信息费不予退还，并有权追索乙方未交齐的居间信息费。若因甲乙任何一方违约致使合同无法履行或终止的，则应由违约方支付中介方按本合同第四条应收取的居间信息费并赔偿由此给中介方造成的经济损失。”
请问：1、按照合同规定是房主违约吗？如果违约应该承担什么责任？
2、中介方在房屋买卖没有成交的情况下收取居间费合理吗？合同规定的不退还居间费用一条是否属于霸王条款？
3、如果是房主违约，我应该怎样追回我的损失？