购买二手房交了5000诚意金，中介不愿退还

10月份在深圳看房，看中了一个楼盘的房子，找了一个小中介公司，当时他们口头上说业主要求要交纳诚意金才给看房子，如果不满意到时候诚意金可以退还。当时我也是相信他们说的话，就在他们哄骗下签订了一个委托购买协议书，也就是他们所谓的诚意金。合约上面写着2010年11月3日为止结束。11月3日晚上我们本来去那边看房子，业主也来了，但是租客不在，看不了房子。我对他们的服务不是很满意，要求他们当晚退还诚意金，但是他们不予退还，说另外安排时间带我们看房子。他们那边说只要他们把房子总价谈到74万，房屋质量没问题，他们的工作就做完了，如果我们不买就是我们违约。
11月3日晚由于没看到房子，他们也不给退诚意金，我就打110报警了，警察过来后说这种事情他们处理不了，结果中介方恐吓我们说我们报警影响他们做生意和形象，要求我们赔偿，并当场拍照留证据什么的。
我想咨询一下这种情况该怎么处理，我们应该怎样维权？谢谢