房屋租赁合同未到期，房屋要出售，可不可以收回房子

我于2008年1月起出租了我家楼下的一个店面，当时签订合同时，我提出租赁期限是2年，对方要求5年，我口头告知对方，我2年之后这个房子要出售的，不能再出租给他，他说如果真的要卖，那他们就搬走。

2011年1月，我给对方打了电话说明今年年内我的房子肯定要出售了。
 
按照合同的规定的租赁时间，我是不应该收回房子，但是因为房屋的买家一听说还有人租在这里就不愿意买我的房子。

无奈之下，我只能去找对方协商，并和对方说明，如果对方肯搬走，我可以对他们做出一定的经济补偿。也请他们理解我的难处并给他们一定的时候另找房子搬走，但是对方的态度极其恶劣，甚至对我进行了言语上的诋毁，协商不成的情况下，我应该怎么去解除这个合同。