房屋买卖过户前临时要出国出差，中介扣押房产证让我无法办理公证委托，导致无法交易，算谁违约？

我和买房人还有中介签订了房屋买卖合同，合同里面约定我须将过户事宜公证委托给中介帮我代办，包括签订存量房合同、过户、解压等手续，去公证处办理公证委托。但是现在我不想委托中介办，我想委托我家里人办。但是中介不同意我委托给我家里人办，扣着我的房产证不给我。我马上要出差了，来不及自己去办理各种过户手续。

请问一下各位律师，如果我给中介发过催告函让他尽快把房产证给我了，他还是不给，而我现在出国导致无法过户，这样的情况下，算是哪方面违约呢？到时候给买家陪违约金的时候，应该有哪方面出呢？谢谢了！