8月22号找中介租的房子只是把定金交给了房东，想要回定金可以吗

我和对象两人找了中介租了个阁楼房子，但是只是跟房东交了定金并有中介开了收据，其余的费用什么都还没交，合同也没签，并且这个房子是要9月1号入住可是我们现在不想租了，跟房东要定金房东说不给，跟中介说中介说他们是无效劳动，让我们自己找房东谈，我想知道这个定金房东应不应该给我们。