房产纠纷案

丈夫单位准备盖集资楼，突然一天中午给我打电话说要交钱，我上班比较远，正好这两天我俩在生气，就说了一句，让我考虑一下，后来他再也没有提房子的事，我也就以为没有这事了，前两天他突然说领导找他谈话了，房子不能转让，我才知道他的同事带了一个人到学校，要他的房子，他就这样给别人了(没有收取任何费用)对方分三次交了钱，然后让丈夫签了转让和五年后过户的协议，如违约就还要交五万元违约金给对方，而且刚拿了钥匙，已经给了对方，现在单位知道了，要么收回房子要么自己住，对方以已经签订了协议，不愿交出钥匙，让他自己担着，这事至始至终我都不知道，连多少钱一平米、几号楼几零几室也不知道、买的人叫什么、干什么工作的都不知道，这种情况下我能要回房子吗？对方知道他有家庭还单方面与他签合同可以吗？