关于在中介购买二手房缴纳意向金无法退还问题

我和我老公在高碑店中介看中一套房子，原来中介和我们说证件都是齐全的，我们要求看房后再决定是否购买，看房后觉得还算满意，中介就让交一个购房意向金3000元，并给了我们一个收据上面写着“今收到我老公的名字交来购买楼盘名单元号门牌号购房意向金3000元”就没有其他的，也没说违约的事，后来在等中介联系房东见面办接下来的手续时，中介告知房东只有当初购房缴费的一个收据，到售楼处更名需要交纳一些费用后才能拿到合同，我们怕到时候交更多的钱要不回，就说没有合同和发票就不买了，要求中介退还意向金，中介说着算我们违约不能退还，请问这是我们违约了吗？
怎样才能要回这意向金？