关于房屋出售委托协议的一些问题

杨律师你好，有一些关于房屋出售委托协议的问题我想向您咨询。
是这样的：2010年6月6日我父亲与一家房屋中介机构签订了《房屋出售委托协议》，期限是3个月，至2010年9月5日止。此房屋属于我父母二人的共同财产，在签订这个协议的时候，我母亲并没有书面文字同意由我父亲一人负责签订此合同，6月底的时候我父亲由于工作原因向中介公司经办人说我们暂时先不要带人来看，因为我父亲经常出差不在家，等7月15日回来再说，中介公司因此也没带人来看过房子，在此期间我父母经过商量决定不出售此房了，也就是准备给中介公司通知来着。但是就在9号晚上，中介公司带了两个人到我家来，当时我一个人在家，中介公司带人来看我就告诉他们这个房子不卖了，看房人也听的很清楚，我想合同是我父亲和中介签署的，就让他明天打电话和我父亲核实一下，第二天，我父亲因为在外地出差没能接上电话，这时候中介公司的人就说：昨天晚上看房子的人说要买了，已经支付了斡旋金，并告知我们斡旋金在3日内转为定金（就是在我们同意卖的情况下）。”于是我爸就说：我们现在不卖这个房子了。昨天我家女儿也给看房子的人和中介的人说了，怎么看房子的人还交钱了？中介机构说那来公司谈，我们就去了，去了之后见到的买房子的人并不是当晚来看房子的人，这个人说是看房子人的姐姐，说是她交的斡旋金，我就很纳闷，那天晚上来看房子的时候我说的那么清楚，看房子的人怎么可能还那么执着的交钱？我让中介公司把看房子的人叫来，他们也不叫，问他们要电话，他们也不给，还说现在是我们违约要支付他们违约金？合同上有一条是说：如受托人已经按委托人要求标的房屋的出售总价与承购人达成房屋交易并收取房屋买卖定金后，委托人再要求变更房屋的出售总价或拒绝与承购人进行房屋交易的，委托人除应承担给受托人造成的损失，还应承担赔偿给承购人造成的房屋买卖违约金。（违约金价款未提）。我们是委托人。中介是受托人。现在我们决定不卖这个房子了，该怎么和中介公司商谈。我怎么老觉得中介机构故意找人串通起来这样弄啊~~？？请您帮帮忙告诉我该怎么办好吗？谢谢。（我也是新疆的）