租房问题

我没有续签出租协议，但提前20天通知房东我要搬走，可是他扣下房费和押金不让我搬走，非要让我等到他找到入住的人为止。我只想把押金要回来，后面还有半个月的房租我不让他退给我，我本来想这样他可以有近半个月的时间找人，可他就是不让我走，还说我自私，要是走了一分钱不给退。