房屋买卖卖方违约

我和买家通过中介签订了房屋买卖合同，收了定金五万由中介代管，没有单独写定金合同，是在房屋买卖合同付款方式上说明了先交定金五万。我不是产权人，签合同也没得到实际授权，但合同有注明我是在得到产权人同意的情况下签的，我要承担一切责任。现在由于家庭原因我不想卖了，想违约解除合同。
产权人不追认合同有效，这是否是无效合同，合同无效就不存在定金的说法了，而不适用定金罚则。我只需承担缔约过失责任。退还五万。赔偿实际损失费，实际合同没开始履行，买方没有实际损失多少钱，我也不用赔多少钱。