标的物尚未交付使用的违约难道不应该支付违约金吗？

我们分别于2010年2月2日和2010年7月8日与四川华昌投资服务管理有限公司签定了房屋租赁合同，口头约定2010年12月底交房，但该公司于2010年12月3日通知我们说：由于他公司各种原因，不能交付房屋给我们，导致无法达到合同履行之目的。故根据《合同法》有关规定，该公司自愿立即返还40万元定金，然后所签定的两份合同的权利义务终止，他们有权自行行使对该标的物的处分权。
      他要求我们在通知上签字，我们没有签。但今天我们去谈，该公司工作人员说他们现在有权处分该房产。我们在两份租赁合同中还分别约定了违约金100万元，但他们以合同尚未履行中拒不付违约金。现在我们该怎么办？并且我们还进行了招商，也跟别人签订了合同，我们也要给别人违约金。