我签订了购房协议，没有签订购房合同，并且交了首付了，要退回来怎么办？？？

一熟人，介绍买投资型房子，托管给他们做酒店，收益倒是可观，加上他前面做过一个楼盘，很成功的例子。经不住诱惑和游说，就签订了一个购房协议，交了50%首付24万。当时还给了我们一个好像利息一样的收益单，每个月可以返我们2千块，一直到签订购房合同为止。到开盘的时候去看，销售公司和开发商闹崩了，换销售公司了。现在的销售经理告诉我们，现在酒店没有谈下来，现在要么自己住，要么改成他们现在推荐的什么“云联惠”投资。我们不答应，要求退款，他们也不同意。后来开发商又答应按以前的方式托管到他们总公司下的一个酒店管理公司，但是细节一直和以前谈到有出入，给我们的酒店托管协议上面，他们的违约责任一点都没有，我们越来越觉得他们开发商在敷衍我们，要退款，他们却要我们付违约金，改怎么办呀？？？