签了居间合同，我不想卖房了，得赔偿中介和买方的一切损失吗？

　　我们夫妻有一处房屋，产权在我丈夫名下。该房是他与我结婚前全款买下的。丈夫一直说让我把这个房留着，说不定以后会拆迁，但是我觉得拆迁遥遥元期，所以上个月委托中介出售。有一天中介通知我，说房子有人看中了，价钱也是我预期中的。尽管当时我丈夫出差在外，我还是在中介的劝说下与买方签了三方居间合同，收取了买方15万的定金。签合同时我一再询问中介，我老公不在，最好等他回来再签，可是中介说我签是一样的。于是我就签了，合同约定：买卖双方任何一方违约，将支付中介房屋总价款30%的违约金；如果我反悔，要双倍返还定金，并赔偿买方所有损失。现在我不想卖了，中介让我赔偿他们违约金大概3万元，买方又要求我双倍返还定金，请问：他们有道理吗？