房租合同未到期，口头协商合同期内房子租出去可退钱，房子租出去后房东不退钱怎么办？

我在开发区某高档小区租了一套住房，合约期一年，房租每月2500元，押金2500元，半年付房租，住了约4个月，房子旁边的绿化带被挖开重修，下面是化粪池，由于房子在四楼，臭气熏天，两岁的小孩都不愿意回家。深夜，挖土机声音很大，强光不时透过窗户射入房内，真是让人无法安睡。由于我们找房东协商提前一个月搬出去，让房东退还2500元，房东说如果在我们的合同期内把房子租出去了就退还2500元（口头协商的，没有书面协议）。我们就开始重新找住房，并提前36天搬走，并让房东清点室内物品，希望他日把房子租出去以减少双方的损失。现在房东已经把房子租出去20多天了告诉我们说现在把房子才租出去，不退那2500元了，这样我就损失5000元了。我问了现在的住户，其实在我们搬出没多久他们就入住了。房东又说是我们违约了，不退钱，可我们是有协商的啊，这种事大家也要顾及情面不好说还签个协义什么的。退一步说，就算我违约，但他把房子出租的时间还是属于我们的合同期内，我是付了租金的，使用权还归我，房东把房子租出去收取租金是否应该退回给我。现在房东就是说我违约不肯退钱。我应该怎么办，请高人提点。