我在去年10月份租了一套楼房是租一年付半年，可是在刚住进去十几天的时候有银行上门向房东要债

我在去年10月份租了一套楼房是租一年付半年，可是在刚住进去十几天的时候有银行上门向房东要债，我们那时赶紧找房东解决，他说是解决好了，可是没过几天又有人找，而且找的人和频率都增加了，我们那时让他们又一次解决可还是没解决好，我们租户的人身安全实在无法保障，于是在快到半年房租的时候，和房东提出解除合约，房东拒绝了甚至拒绝接电话，我们只能是边联系房东边重新找有保障的房子住，等找到房子搬家是和房东短信的形式通知了他 ，可是他现在问我们要下半年的房租，说是我们没通知他不住了，说我们得赔偿他房子空余时间的损失，可是我想说我不是不告你，是你不接我的电话 是你在逃避我，我们不是不愿住，是实在没办法继续住，我虽然房屋租赁合同是一年，可是房子出现问题了，而且房东也没有按说的解决，甚至愈演愈烈 ，我们没有安全性，不能再住了，他索要赔偿之合理吗，我们应不应该付违约金