签订合同后，却没有房子的使用权，房东无理取闹房子租不成了，可是我

我在中介看了一套房子，好像是一位精神病患者，房东整天待在房里，有时候还穿着条内裤在我们面前，她的房子她该干嘛还干嘛，我们根本无法住，当时我们签订合同的时候只是答应留一间房间给她放东西，现在房东就是赖在那里，我只是问他把一些垃圾丢掉，他现在又说要和我解约，现在房子租不成了，房东却不把钱退给我，因为她不正常，根本无法沟通，，找中介也推卸责任，现在要经过房屋出租管理处把房东的要回来，而中介不肯归还中介费，我可以要回来吗。