房东不讲理

我们在2011年9月19日 在龙水老菜市附近租了一间单间 当时口头说的是650一年 三楼 我们现在住的隔壁哪一间 但当时因为他联系不到以前的那个房客 酒让我们先住着隔壁这间 我们同意了 并签了合同 合同很简单 具体内容是租三楼一单间一年 租金780（因为我们放了车子在他楼下 所以就收了130的车子费） 合同期内不租 后果自付 但交了钱后的第二天 我们问他联系上了以前那个房客没有 我们想搬到隔壁去 但他却说隔壁哪间的房租要高50 要700 如果我们邀租的话就还得交50元钱 我们就说你那天还承认老的 但他却说他那天喝醉了 说错了 因为当时只是口头说的 我们又没证据 再说钱都交了 于是我们就没有再追究这件事了 2011年1月19日 我们决定不在哪里租了 就去和房东协商 但他不承认退钱 还说我们把门弄坏了 叫我们修 然后他们把灯打开 叫我们自己看（楼上有点黑 像我们自己如果要做什么都是打的电筒）还扬言说如果我们不把门给他弄好 就别想把东西搬走 我们争了很久 最后我们决定息事宁人 说可能是我们自己不小心弄坏了 会给他修好的 1月21日 我们去搬东西 并把门给他钉好了 但是他还是没有退钱给我们 还说要租出去了才退 叫我们门不要锁 可能会有人来看 他们又不会在里面做什么的 于是我们就没有锁 今天我们找了人去看房子 刚到楼上 他就开始凶，说我们又把他柜子弄坏了 叫我们赔 还骂我们都是些什么人哦 然后我们找来看房子的人就走了 我们推开们看 里面的床和柜子都是动了的 我们气不打一处来 什么东西坏了都怪在我们头上 于是我们就走了 请问我们有权要回我们剩余的房钱吗？面对他的诬陷 我们没有证据 应该怎么办