关于如何解除中介居间合同

本年6月9日签订的居间协议，约定25天内，后经协商定于7月1日，下家要和我签订买卖合同，并支付首付款，7月1日当天，卖家到场，但未签成协议，而且卖家一直在拖延我时间，说同意签约，但暂不支付首付，我是否有权要求解除居间合同？？？？因为我自己也是置换买房，急着出手房子的。我不可能无限期的等下去，但中介威胁我说，只要买家不是他不想买，他随时都能追究我责任，哪怕过了约定交易时间。我收取了下家1万定金。
并且，6月25日（周三）的时候，中介跟我约定的签约时间为6月29日12点去交易中心签约的，（期间，周五我也打电话跟中介确认交易时间问题，中介未提出异议）但由于中介一直未和下家联系，也没有通知我，直至6月28日（周六）早上我再次致电中介确定交易时间无误时，中介说下家不能交易，要等，最后三方在中介处协商，最后期限为7月1日签订交易合同的。买家虽然到场，说可以签合同但不付款，就是不说他不准买，但是所有行动给我的信号就是不想买了。
根据这个情况，我是否可以发函给中介解除居间协议？因为我没有买家联系地址，所以我是否可以把解约函交给中介，让中介转交买家？
另外，我现在是否可以卖给别人？？？因为两个客户等着要买我的房子，而且由于其未按期签约付款，已经导致我损失了。
现在中介意思是，只要下家不说不买，我就不能卖给别人。这是否成立？