当时承诺可以通过住房公积金办理购房,在已经交付定金后,告知不可以

本人的住房公积金是在市级,购房是在县级.在购房前已经将此情况进行告知售房人员,对方称可以办理.在我们交付定金,按照对方的要求把相关的手续进行办理后,到申请住房公积金的时候,告知我们不能使用住房公积金贷款.我们要求退还首付的时候,对方告知不可以.本人认为为了卖房,有欺诈消费者嫌疑.且不说我们的精神损失,在办理申请住房公积金的手续时,之前承诺我们什么都不用办理,很简单的,但是塞给了我们一个需要盖章的文件.当时只是想着是个小问题,在我们的接受范围之内.现在出现这种情况,我们没有办法接受,欺骗消费者,这种情况是否有法律依据让我们退回首付?