居间合同问题

我与中介公司谈好买卖相关事宜，中介催着我签居间合同，当时我出差，中介让我叫家人过去签，我就叫了我老婆过去签（没有委托书），但是在签订过程中，中介提供的居间合同中介费变成了3%（与我谈定的2%不同），当时我老婆打电话给我后，我再跟中介沟通后才改成2%，最后我老婆签了字！但是通过这个事情我觉得这家中介无信，所以我找到卖方一起找了一个我没有首期款的理由解除这份合同，当时中介口头同意了（合同的3份都被中介公司回收，没有签解除合约的字据），卖方也把意向金2000元退还给我了，而后我与卖方另外换了一家中介公司完成了房屋买卖合同的签订，但是被原来的中介公司知道了，他们说我违约，要让我支付给他们中介费，请问各位律师，这个事情算我违约吗？谢谢！