关于案件撤销，但是还有记录

我于2010年因在网上看黄色网页、下载AV片被当地公安机关以违反《计算机信息网络国际联网安全保护管理办法》第五条第六项规定处罚了3000元，但是后因媒体曝光，引起大家关注，发现公安机关引用法律不当，根据2006年实施的《治安管理处罚法》第六十八条规定，我的行为不属于违法。当时公安局撤销了处罚，也退还我3000元，但是没有对我有其他任何的赔偿等等。但是我近期才发现当时的事情并没有玩，而是留了案底了，在公安机关的一个什么平台上。于是乎这个问题就困扰我了，近几年我出差等，有时遇到未带身份证，去派出所开住宿证明，每次都被嘲笑，我还不知道是什么事情。而且在我生活中，经常被作为笑柄，也入不了党，连想辞去工作，去私人厂上班，别人也因为我有案底不要我。大街上经常也被人认出来，让我经常不敢出门。至今网上都还有我的记录，百度搜索“杨化军”。
    我想咨询，这个事情我该怎么办。我该怎么维权？我不想在这么生活下去了。让我太痛苦了。