签了卖房合同后不想卖房子了

买卖方及中介在谈判时，中介将很大一笔费用扣在我头上，买家以承担此费用为由让我降价一万。我不懂信以为真，我是卖房方。而且当时交了五千的诚意金，签合同后才知道，这些费用本就该买家出。我现在要求撤销合同退回五千块钱，中介和买家不同意，警告我不履行合同将支付违约金。我怀疑中介和买家是一起来骗我的。因为中介之前说过这费用是买家的，但是在谈判时一口咬定这钱该我出，我当时也忘记了聊天记录的话，脑袋一热就签了合同，现在我只有微信聊天记录，其他没有证据。我该怎么做？