6月，我有一套二手房挂在58同城上卖，一天，一个中介联系我，说有人要买我房子

6月，我有一套二手房挂在58同城上卖，一天，一个中介联系我，说有人要买我房子，买房人说帮她妹妹买，妹妹在外打工，我初次卖房，本不是很情愿，在未经老婆同意的情况下（房子婚前我的名义购买，房产证也是我的名字，有银行按揭未还完），在中介和买方的极力劝说下仓促签了合同，买方在委托人栏签字，没填身份信息。关键是交易方式选的委托公证，当时没怎么注意就签了，收了对方一万定金，违约责任写的双倍返还。回家后老婆不同意，我查询了网上说委托公证有很大风险，我就给中介反悔不同意这种方式，对方不同意。听别人说这种多半碰到串串了，也就是买方和中介串通想通过低买高卖的方式赚差价，属中介违规行为。现在拖了两个月了，我联系中介退定金外加2000补偿，对方不同意，我这种情况应该怎么办才能撤销这个合同呢？我需要付违约金吗？可以到住建局投诉他们吗？望不吝赐教，不胜感激！