求助.谢谢

我在2008年4月通过中介公司在许昌路1441弄租了一套三室一厅的房子，租房协议签的是一年的，还付了4000元的押金，房租是4000元每月。在2008年12月份的时候听房东说他们因为买了一栋一千多万的别墅所以准备把这套房子卖了，但是没有让我们搬。但我们听了以后感觉住不长久，所以过了几天就打电话给房东商量要搬走，第二天房东夫妇来了一趟，我们说要搬走他们也说可以的就是叫我们把水电煤的票据全部准备好，等我们搬的时候来和我们结账。我们定在2009年1月20日早上7时搬，19日晚上打电话给房东叫她20日早上8点来结账，她当时说好的。结果20日8点打电话给她时她说人在南京不能来，叫我们把银行账号留在桌上，她来看过以后把余款打我们账号上，我们也同意了就把银行账号和房门钥匙全部放桌上把门关好就搬走了。过了半个月我看到还没有钱打到我账号上就打电话给房东，她说忙还没去看过说等等。以后两次打电话过去都这么说。2月中旬的时候当我再打电话过去时她突然说她心情好的 话会打一点给我，心情不好就一分钱也不打给我，我 一 听就闷了还有4000元押金和8天的房租费1080元总共5080元她说一分也不付了。她又说我们违约所以扣下押金，我说我们不是当时他们来的时候商量好的，她说你们有证据吗自己去看租房协议，协议上有不到一年退租赔偿4000元违约金。当时协议上是这么写的，但是我们都找他们商量过的可以退房不扣押金所以才搬的，不然我们肯定要住到协议到期啊。难道这5080元就被他们说扣就扣了，请帮我看看还有没有可能要到这比钱 。谢谢
问题补充: 
没有证据是口头协议，但是我们退了房以后又在黄兴路借了房，对我们来说住哪里都是住啊，我又何必要付了违约金又在旁边借房这不变神经病了嘛。昨天我又打电话过去了，但是房东13916545258一直不接了。我就是咽不下这口气，如果谁能帮我要回这比钱怎么分随你说。