无良极品房东，克扣押金的花样，防不胜防，求教怎样解决？

有劳各位老师分析，多谢了。简单说下情况：
3000一个月跟中介租的房子，跟中介签了一年多的租房合同，租金方式是押一付三，快到期的时候，房东要跟我私下续签，租金3500一个月。我嫌贵，拒绝了！房东就说，你不续租的话，我告你违约，让你立即搬走，还要扣你3000的租房押金。说了一些合同上我违约的：合同上规定只能住4个人，我住了5个，说我跟同事的合租行为是转租，总之鸡蛋里挑骨头吧，说什么地板有磨损，墙壁掉皮，家具挪动了位置。
但是房东说的这些违约情况，自从我住到这个房子，他就来看过，而且是基本一个月来一次，快一年也没说不同意这样，也没说我违约，就是房子到期了，故意要挟我高价跟他签订续租合同！

然后的情况就是，中介，房东，我，三方一起协商解决，综合考虑，我要重新找房子，可能需要给中介公司中介费，再次找房子，搬家等等都比较麻烦，而且房东年纪比较大，照顾下老人的情绪，最后方案是：3500我跟房东签订租房合同，房东向中介和我承诺3000元的押金一分不少的退给我！ 

这个是一个关键性的问题： 三方协商好的，3500我跟房东续租之后，房东向中介和我承诺一分不少的退还上一次3000的押金。在这个前提下，我才跟房东签订的3500续租的合同。因为房东年纪比较大，我也不想来回折腾这件事，当时就跟房东签订了3500续租的合同，交了压一付三的租金，押金3500+租金3个月的租金！当时考虑到房东是老人，应该比较讲信誉，再说他的目的也达到了，应该没什么大事，就没有签订调解协议。
结果却房东没有施行他说的承诺，我跟中介的租房合同期满，三方一起验房，中介和房东也在交房清单上签字，物品齐全，无纠纷。但是房东却不退押金了，中介说当时说好的，房东退给我，我就退给你，现在房东不退，我也没法退。房东的态度是，屋里地板有磨损，要重新换，墙皮也要重新刷，说了一堆，要扣钱的地方，然后我就让房东说个合理的数额，要扣多少钱，他就又改变态度，说要中介公司给重新装修房子，装修完了，检查合格之后再给退押金。到现在已经拖了3个月，我又要到了交房租的时候，我不想因为这样的事，再跟房东和中介纠缠，对他们已经彻底失望，就直接搬家了。

我跟房东签订的合同是中途解除租房合同要付2月的违约金。也就是2个月的押金7000元。我想咨询下，我觉得是他违约在先。我是不是可以告房东为履行当时三方协商的解决承诺，诈骗押金呢？ 然后我就不用付两个月的违约金！还有这样的事情，我也有没有责任？我的两交的押金3000+3500 6500的租房押金怎样才能要回来呢？

谢谢各位