房东能没收我的租金吗？

我在3年前租了一个房子，每月费用2500元，交给房东两个月的押金，2年后没有续签合同，在去年8-12月期间，我在不知情的情况下没有按时交租金，房东也不知道，到了去年12月，房东查得我没有按时交租并通知我，我马上补交了所有租金。今年4月，我提前一个月通知房东不再租用她的房子，并在4月底搬出。当时房东以没有时间为由，让朋友来跟我交接房子，并承诺5月底前来跟我对清所有费用并退还押金。到了6月2号，房东没有出现，我致电给他，他说因为我们去年曾经没有按时交租，导致他没有按时交纳房子的供楼钱，以导致他在银行的信用额受损为由不给我退押金。这样可以吗？