与律师的纠纷，请帮我看看怎么处理，谢谢了

我于去年因涉及到别人案件中，被刑拘，期间我老婆找了律师，还是熟人的亲戚。给我老婆吧情况说的很严重，我老婆在其劝说下，和他签订了三个阶段的代理合同，一次性给他代理费16000元+1000元车马费，合计17000元。
该律师在我刑拘期间到看守所与我会面一次，在听我讲述了情况后，把我的情况说的非常严重，我在他提供的几份合同上签了字。
我被刑拘1月后被释放，没有批捕，释放单上写到-证据不足，请补充侦查。

到现在已经满一年了，办案警官昨天给我打电话说让我取回保证金。情况应该是免于起诉。
我与该律师的合同写明“此费用是是那个阶段律师代理服务费，如发生其他情况另行协商”。所以我认为我应该支付该律师第一阶段的服务费，而剩余其他两个阶段的费用应该归还于我。
我电话该律师，该律师说费用不退！
我认为这与情与理都说不过去！这个不是他应该得到的，他付出多少，就应该得到多少。而且该律师极其不负责任，一种敷衍了事的感觉。
所以我想向其拿回属于我的东西。

我想像各位老师咨询一下，应该到那个部门去处理这件事，是上海律师委员会，还是司法局，或者是到该律师所在单位去向负责人索要？

不懂这方面的事，请各位老师赐教。