之后，祝红雨跟外地一男子谈起了恋爱，并想辞掉工作，乘机摆脱颜跃明的控制。颜发现后大为恼火，他调出祝红雨的电话单，然后打电话威胁其男友，声称要把他抓起来。在他的威逼下，这段恋情匆匆夭折了。

　　此后，祝红雨又跟涟源市某公司的曾某相好，两人已谈婚论嫁了。颜跃明恼怒之下，派人公然威胁曾某，最终掐断了两人的关系。万念俱灰的祝红雨，几次欲跳楼自杀。之后，他又用同样手段玩弄控制了几名年轻女性。

　　在网点公司上班的刘蕊(化名)，最担心的是颜跃明总要她“报恩”，因为她从一个美容美发屋的小店主，调入网点公司任出纳，是通过颜跃明安排的，丈夫也经常得到颜的关照。为此，颜跃明经常以恩人自居，对刘蕊进行猥亵，甚至强行发生关系。他有时会突然闯进办公室，将正在清理账目的刘蕊一把抱起，放在大腿上乱摸，连门都不关。

　　曾逼家人背“口供”

　　2005 年12月15日，颜跃明因涉嫌受贿罪被宁乡县人民检察院逮捕，其时他担任娄底(地级市)商务局党组成员兼市政府不良资产处置办公室主任。

　　此前，因轰动一时的原娄底日报记者伍新勇案案发，颜跃明预感到了危机。他开始四处分散藏匿财物，焚烧材料，回到家里就逼着家人背口供，以应对可能到来的审讯。在日日必修的“功课”压力下，其妻周吉莲“几乎被逼成了神经病”。

　　颜跃明案发后，颜氏家族的“多米诺骨牌”随之倒下。其妻、弟、妹、妹夫、侄儿、侄女等纷纷被免职、双规或羁押。与之关联的娄底市屠宰办十几名稽查执法、工作人员也因涉案。

　　从“罢免市长案”到沉沦

　　颜跃明的大名，在娄底可谓家喻户晓，他的“名声大震”，缘于15年前那一次大胆出格的举动。

　　1992年3月，在娄底市(原县级娄底市，现娄星区，下同)四届人大三次会议上，他与另22名代表联名提出“罢免市长案”，引发了一场大“地震”，在全省乃至全国都产生了巨大反响。

　　其时，颜跃明担任娄底二轻工业局局长，不过是个正科级的小官。虽然罢免案以流产告终，但此后，颜跃明在很多人眼里成了“惹不起”的角色。

　　1993年8月，颜跃明调任娄底市财委主任，此后数年间，娄底一直流传着他“手眼通天”的神话。一个可资佐证的说法是：颜跃明可以公然带着情人(一名年仅18岁的大学毕业生)，频繁出入某市委书记办公室，并扬言“我是要讨她做老婆的”！