房屋买卖纠纷，中介费能否要得回来

事情是这样的，时间大概在今年1月中旬的样子，我老婆把家里一套房子通过中介挂在网上卖，我人在江西出差，当初也跟我讲过把房子挂在网上看看能卖什么价格，正好有买家看中了，谈妥了价格，当时也跟我说了，我说等我回来再说，哪知道谈妥的当晚就签了买卖合同，我由于在外出差根本没同意卖，也没能在合同上签字，合同上我老婆签了我和她自己的名字，该房屋房产证上写了我和我老婆的名字，当我得知签了合同，我就叫老婆告知买家和中介，房子不卖，当然她没能去做，我回来说服我老婆后，我去告知中介和买家，我们房子不卖了，告知买家和中介不卖的时间距签合同也就4、5天时间，我们就收了买家定金，买家也没付房屋交易首付，根本没去房产局过户。后来买家叫我们赔偿2倍定金和中介费给他，我们不同意，也没有协商成功，最后买家去法院起诉了，通过法院调解赔偿了买家中介费和2倍定金；刚签订合同中介就要去全部中介费，买家付的全部中介费，实际上这种情况中介费是我们付的，我觉得中介没尽到应有的义务，没把卖房担负的风险和法律责任跟她说透，以致于我爱人在卖房合同上一个人签字，房产证上写的两个人名字，在合同上却叫她一个人签名，而且中介除了签了合同，其他啥事都没做，我觉得中介不应该拿这份中介费，我现在手头上有中介收取的中介费收据，当时签订的房屋买卖合同，还有法院调解书。我想请问一下各位律师，就我说的这种情况，中介费我能通过起诉去要回来吗？谢谢各位律师能在百忙之中帮我解答一下困惑，感激不尽！