邻居反应扰民，房东终止合同，中介以扰民为由不退违约金

情况是这样的：我在当初租房子时中介先收取了我200元定金，然后我去签合同的时候提出要看该房子的房产证和见房东，被中介拒绝，我因为当时急着找房子住，并且已经交了定金，所以就签了合同，当初入住的时候中介说这个三居室加上我就住4个人，结果我住进来才知道里面一共7个人（不算小孩），因为已经签了合同，同住的人也还不错，所以我就忍了。最近楼上邻居说我们晚上开门关门声音太大，影响他们休息了，就打了110报警，盖房子属于农大家属区，110警察来了之后被学校保安劝阻，保安找了学校相关领导，学校通知了房东，我才知道农大的房子是不允许出租的，学校要求房东收回房子，今天晚上房东过来通知我们搬家，我问房东我已缴纳的房租和押金能否退回，房东说合同是他和赵某签的，赵某应该是找了中介转租，然后中介租给了我，现在我不知道是否应该要回押金和房租，因为合同上有这么一条：如果乙方（我）经核实存在有派出所，居委会或者邻居反映扰民情况，甲方（中介）有权开启房门，接纳新用户入住，视为乙方放弃房内物品，造成损失由乙方承担。
我感觉很委屈的，房子里面住了好多人，晚上不可避免开门关门的，比如去厕所什么的，而且屋子里面的门比较老旧，一关的话会发出声音，可这就算我扰民么？现在的情况是学校通知房东要收回房子，所以房东就打算和赵某终止合同，赵某和中介的转租合同也要终止，这样我就没地方住了。我是否扰民也需要提供证据吧，不能楼上一报警，我就是扰民了。请教各位专家意见。