租期不到房东让搬走，搬走后他却要扣我4000元钱

我于09年8月1日租了一套房子，至今已有2年零4个月，但我第三年的房租已经全部交给了房东，本来第三年是不想住了，因为房东老是借题让我们搬走（记得10年有天半夜，我怀着孕预产期就在那两天，他回来说叫我们搬走一点情面不给态度非常坚决，任我老公怎么请求都不理，第二天我们已经准备去找房子了，他又打电话说他喝着酒，算了给我们继续住）自此，我们明天回家都是小心翼翼的，关门不发出声音，说话也不敢大声。今年本来不想住了，但老公说住了两年了，东西多，搬家麻烦，明年我们买的新房子就拿到钥匙，所以再坚持住一年吧。怎料今年11月30号那天，因为下雨没带伞所以我们把车开回了家（一般我们都不开回去，因为他不准我们停），半夜12点左右房东回来了，我在他大声吼骂中惊醒，接着他叫他的小工去敲我们的门，我老公好好挨他说今天因为下雨，我们不是天天都开回来。他却在那里骂爹骂娘那些脏话我实在说不出口。之后他就叫我们不在么搬走，他压着我们500块钱的押金可以退给我们。现在我们找到了房子已经搬走，并且还把我们在的房子打扫得干干净净，叫房东去看，他却说要扣我们4000元钱，理由是我们损坏了他一楼的自动门什么的，我们住在二楼，他的小工进进出出住在一楼，一楼的一部分是我们给他租了做仓库的，我们平时都很爱护，拉货的时候都很小心，根本不是我们弄坏的。在此想咨询专家，我们该怎么办。租房期间我们没签过租房合同。