付了首付没签合同想退房

我在去年11月签了商品房认购协议书，付了首付8万5千一百五十元，现在遇到了麻烦，是这样的，刚开始有个人给我们介绍说他有个指标，说如何如何的便宜，我当时没准备买，可是他隔山岔五的来找我说这好那好，便宜，终于被他三寸不烂之舌说动了，当时没定价先让交5万定金，正式卖房前两天才知道房价，来不及多想，买房人就快让签字，我稀里糊涂就签了字，到腊月二十九忽然那个介绍人来向我家要钱了，说占他指标，他叫了三四个男人把我们骂了一顿差点动手恐吓吓唬，并扬言要对我们家放血，我真的害怕，我每天精神恍惚的过日子，我快崩溃了，现在退房是唯一的解脱，请问我能退房吗？怎么退？请律师指点，我将感激不尽。