关于导游证被扣

您好，我的问题有点复杂，首先很感谢您能听我描述。
我是个导游，2010年初我在一家旅行社上班，到了2010年7月中旬因为家中有事，我便辞去了这份工作。到了年底导游证要年审必须通过旅行社或导游服务公司，通过协商，我同意将导游IC卡挂到我先前工作的这家旅行社，条件是将IC卡放到他们家，等我用的时候可以拿回来，当时我们是口头协议。到了2011年3月份，我因到外地有急事急需导游证，结果他们拒不给我，通过民警的协商，两三天我在过去拿，但是他们老板说要考虑考虑。两天后我去拿导游证，但是他们给我开出的条件是，一是写证明证明我拿走证之后发生的任何事都与他们无关，二是交钱交几百块钱的管理费，我很郁闷，都让我写证明了干嘛还交费，而且我曾经明确表示我要证移走，但他们就是不给我，说什么为我负责，关键是我现在急需导游证，后来我被逼无奈的情况下，只好写了证明，教了钱，而且他只给我开收据，拒绝给我发票。我中途有咨询导游管理处，他们表示这是我跟旅行社之间的事自行协商。我想咨询下，难道这一路下来都是我错了吗，我交钱是应该的吗？有没有什么涉及违法之类的？还有，我虽然拿到了IC卡，但是我只有收据，没有发票，我们之前都是口头协议，我有给他写证明，在民警协调之前、后我们之间是没有提到拿证就要交钱这一项的，一直到我后来到达现场他才提的，我是在没有办法的情况下。我有咨询相关市级部门，但他们都以不关他们的事来了事。所以我想咨询律师，想知道到底是不是自己做错了。