租客提前退租，剩余租金退吗

我的房子是2014年11月5日到期，租客10月初（提前一个月）通知我不再续租。合同中明确如果续租或者不续租都需要提前一个月通知。违约责任“甲方需提前收回房屋或者乙方需提前退租的，视为违约，违约方应付给守约方一个月的租金，甲方应退还相应的租金和押金”。请问，租客提前给我说了，他没有违约，我也没有提前要求收回房子，我也没有违约，这样，他早于合同到期日20天搬走的租金我该不该退给租客。