这样的定金协议有效吗？

我买房子，当时和中介，卖方一起签订了2万元的定金协议。但是，但是房主并未在家，他老婆和我们签约的，我们也未曾和他本人通过话，一直都是他老婆和我们在协商，签字的时候，我们听到他们夫妻打电话，中介也在场，我们问他老婆，房主是否愿意出售房子，她表示愿意。问题是，现在他老婆又说不卖了，原因是房主本人不同意，原来，他们不和，而这个女的却总想卖掉，可又拿不出房产证。像这种情况，我们是否可以主张我们的权利，适用定金罚则，并让她赔偿我们相应的损失？如果她不肯，我们是否可以向中介主张这赔偿呢？如果她赔偿了两万，中介能否得到赔偿的一半呢？