卖房子可能卖给了房虫子咋办。

房子卖给了疑似房虫子的人（一下简称虫子），并且和虫子以及中介签订了协议，虫子给了我2万定金。协议大致是9月之前腾房子然后虫子马上和我去公证，并当时付剩下的全款，但是我们要保证房子过五年，无二套。当时也没多想就签了。可过后想想卖了房子马上要卖房子。一是我卖房子，我是二套要多交税。二是我买又买房子了，保证不了他过户的时候是二套。这可咋办呢。中介当时也没告知其中利弊。要是我毁约是要陪他双份定金的。