租房没有签合同，口头协议房租和期限，不到期限退房，房东不退剩余房租，怎么办？

5月18日入住。房东是二房东，分卧室转出租，我租了一间单间，一共有三个卧室，住着3个女士。我们口头约定租金为每月500元，尽可能长期租住，房东要求一次性付半年房租，后经协商，我付了2000元房租（4个月），5日后交了70元电费。今天上午在家，突然有一个中年男子拿着钥匙开了房门。后发现该男子是二房东的男性朋友，二房东（离异中年女士）未经其他两位女士同意，给这位男士钥匙。所以今天提出终止租房的叩痛通知，二房东不退回我剩余房租。我现在只想要回剩余房租。