合同违约

您好，请问我与他人于去年8月底签订房屋买卖合同后，因房屋价格下跌，他付了20万的房款后近一年没有再打款，期间于11月底物业打电话来要求交物业费和采暖费，因我们工作已经调动到其他城市，于是打电话询问他是否继续履约，他愿意履约的情况下又缴了1000多（具体金额记不太清了）。之后我又多次催缴剩余房款，他总以各种理由延后。以至到了合同约定作废的期限他仍然没有再打款，与其多次沟通未果的情况下，我们于春节前给其发了一封通知函，要求他要规定的期限内付清剩余房款，否则合同作废。但他一直未回复我们，在今年六月初突然联系我们要求面谈，我们赶回去才得知他要求降低房价，否则退房并将先期支付的20万连带10倍的银行利息一次性返还给他，否则他要强行入住，或用非正常手段来解决。我们拒绝了，但我是否可以按照合同上签订的条款要求合同作废？并按合同约定扣除其违约金和对我们造成的经济损失？