这样的房屋纠纷改怎么解决

我通过中介租出了一套房子，在签合同前特意让他再问一下家人的意见，他说他能做主。这样签了合同，合同中明确转租或退租不退押金。并特意就如果违反合同就按押金的金额进行赔偿作出了申明。并且根据他的要求不要洗衣机，而且他说会租两三年。我们考虑租的时间较长，旧洗衣机也没地方放就把洗衣机给处理了。可是不久，他就要转租或退租。说实话，我们也没打算所有的押金都按合同上写的不退给他。可是由于要重新租出，肯定要新买一个洗衣机，而且还交了中介费。我们提出只能退部分押金给他。可是他不愿意，只愿意负责中介费。无法达成协议。中介也不管，只是让我们协商。我们该怎么办？要起诉吗，为这点事起诉又觉得有点滑不来，打官司的钱都不止这点。可是是他明确违反合同，且我们也确实由于他的违反合同受了损失。