关于房屋租赁解约后的赔偿问题。

我租的房子今年8月20号到期，6月份给房东交最后三个月房租时房东说到期不租了要自己住。然后我就开始找房子，因为房源紧张，6月底看了个房子挺合适就搬了，房东电话联系不上，想着不能再拖凭印象找到了其居住地，房东同意了我们搬走，说房租算到7月1号，双方达成口头协议，去租的房子也检查过电器，之后房东收走了钥匙。现在要求退还押金和多付房租时房东的女婿（租房代理人）说我们违约，可是合同上写明半年之后提前解除合约不算违约不扣押金。她女婿就说是不扣押金但是没说不扣房租，还说我们走的时候没有请家政打扫房子，说去年我们住进来之前是他们出的钱请的家政之类的云云。我说你们是要自己住又不是继续出租，我早点搬走省得到时候也麻烦，她女婿就说现在不住。难道她们什么时候住我才能搬出来么？！后悔当初没让房东拿走钥匙时给我写个字条了，口头协议这会儿她们不断推托我很无奈。请大家帮忙支个招，该怎么要回我应得的钱。