单位行政不作为，我该怎么办

我是09年3月份考入内蒙古乌兰监狱，试用期为一年。2010年7月份单位还没给办理转正手续的情况下，我想考到别的单位。乌兰监狱就要求我写一份“自愿取消录用的申请”，2010年7月初申请上交到监狱政治处，政治处说他们给内蒙古监狱管理局也打了请示，让我等回应。2010年10月份监狱政治处通知我可以离开单位了，当时正式的手续还没有批下来，我就离开了。直到现在正式的辞职手续还是没批下来，而我的编制在2010年底已经被取消。
由于档案里面没有辞职的正式手续，我2010年考录的单位以此为由没有录用我，还耽误了我好多次考试就业的机会；最近去提取住房公积金，也因为这个原因无法提取；正式的辞职手续一天不下来，就像一颗定时炸弹，说不准那个时候对我造成影响。真的想早日结束这样的生活。
四年多的时间批不下来这么一个手续，像这样的行政不作为，我该怎么办啊？？？有哪几种解决方案呢？