租房合同未到期，已提前几天通知房东，房东现在不肯退房租金，可以要求退还吗？

我是房东，2014年1月1日，住户需租赁我家套房，当时签订租房协议为一年，因房屋面积不大，租房时曾告诫说只适住二人，结果住户住了5人，他实在没办法住下去了，在7月15日，住户跟我商量要求搬出去，要求退还租金。当时我答应了租金从8月份退还，前提是钥匙交给我，房子要租出去以后，扣除水电费、还有损坏的东西赔偿后退还，他也答应了！我协议上也写着如果要退房，需提前一个月通知房东，否则下月房租照算。但是到现在他的房屋钥匙也不交给我，搬走后马上要求我退房租，我不同意。因为第一，我没赶你走，房屋到期日是2014年12月31日，第二，你搬走了钥匙也不交出来，我没办法租房，只能视同你住在那里。第三，房屋没到期，是你自愿要搬走的，按照规定我还得收取一定的违约金。第四，没经房东同意，贴出转租合同，这已经违反了合同的约定。昨天晚上又来抄着要退房租，我老公说了，你把钥匙交给我，我来租房，拿到房租一定打电话退还给你，但是那人蛮不讲理，一定要我把房租退了才能给我钥匙，你说，遇到这种情况我怎么办？