租房违约责任

律师您好，我在3个月前租了一个处楼房，看房时没有发现楼下异常，房东和中介也声称房子绝对安静（因我老婆怀孕，租房时特别问到这一点，但是没有在租房协议中写出），但是我们入住后发现楼下竟然开了个“棋牌室”，严重影响休息，我们多次和房东及中介联系，反映情况并希望他们向有关部门反映情况，取缔棋牌室，还我安静休息环境，毕竟在居民区里面开棋牌室属违法违规的，房东也答应到有关部门反映情况。但是3个月过去了，楼下依然照常打牌吵闹到深夜。我们的房租是付三押一，到了3个月底的时候，我们就搬出去了，并且还提前一个月通知了房东和中介。但到结算的时候，房东和中介认为我们违约，不予退还一个月的押金。我认为:我们不能继续完成合约、不能继续租住下去，是因为房子本身的原因不适合居住，房子失去了其居住的必要因素，房东不能还房子一个适合居住的环境，应当视为房东违约。请律师分析，并指导我该如何维权！谢谢！