贷款中介收取风险管理金

找他们贷款（小张）他给我们保证只有百分之1的手续费，然后合同上写百分之1（27）的服务费（风险管理金这个东西要退 后面又说不退）然后签了个合同然后他们用我的手机信息贷款9500直接到我的卡里然后就要收我2300左右的风险管理金，我就觉得太高了就没同意，我就让他们帮我退了，（当时他们也同意了，钱也给他们了他们说要转会公司账户上，我有转账记录也备注了这是退款）（是不是相当于合同就作废了）让后我们准备走了是联系我们的A就给我们说你不是不要钱嘛，我帮你找渠道办（我就认为这就不属于合同里的贷款了，当时因为这28的风险管理金的问题就没要这份合同A也在场）第二天A就给我发了个地址给我说这里能办，让后一切手续都是我一个人办的，之后又到他们公司（我准备感谢下A）这下他们又给我说加上这20000就是29500要收8800的风险管理金我这一听什么道理，他们说要闹也是我吃亏，我要怎么办