关于房屋协议违约问题

我跟房东签了个租房协议，约定期限是2010-3-15至2010-9-15，8月份到期之前我已提前问过房东意见想搬走，他同意了，但是我们没有说清楚押金是否退还问题。我在到期日提前一星期搬走，8-14号我跟他结账是说我租期未满，算违约，要收取违约金100元.我不服气，如果我征求他意见时他就提醒我违约这点，我是肯定不会提前搬的。合同上没有违约金的规定，但有一条：第一个月除月租外，另收300元押金。。。协议租期满搬出住屋后，押金退还给乙方，协议期未满，不退还押金。现在他就将300元押金扣除我尚未缴纳的杂费100元，退还我100元，留100元当作违约金，请问这样合理吗？