早期，黄金荣的势力一直在杜月笙和张啸林之上。以黄金荣六十岁后（1923）退出法租界巡捕房督察为转折点，杜月笙和张啸林的势力逐渐超过黄金荣。其实，当时黄金荣退出那个职位，实属不得已。在那几年里，他接二连三地“跌霸”（上海话，失面子），再也没有往昔的凛凛威风了。其中最著名的，莫过于露兰春事件。

露兰春，京剧老生女演员，八岁时父亲病故，母亲携她流落河北、京津一带。不久，其母改嫁一扬州人士，被一个翻译官收留，后来跟着养父到上海。她这位养父正是黄金荣的徒弟，因为这重原因，儿时的露兰春就常常到黄公馆玩。但是，那时她就显出美人胚子的模样了，一双大大的黑眼睛，粉嘟嘟的圆脸，天真无邪的神气，见到黄金荣就叫“公公”，见到阿桂姐就叫“奶奶”，说话特别甜，深得黄公馆上下人的喜欢。

等到露兰春稍长大以后，经常被戏迷养父领着看戏，渐渐喜欢上戏曲。而养父也发现她乐感很好，就找来老师教她学戏，唱文武先生，练刀马功夫。露兰春一点就透，一学就会，没几天，就已唱得有板有眼。这里正时兴女唱男角，露兰春唱生角，尤其是武生，口里唱腔、身上功夫，样样皆精，学了几年，以她的水平已经可以登台了。露兰春的养父担心她上台或者在剧场里被人欺负，于是打算带着她拜见黄金荣。

再说黄金荣看见已经出落成大姑娘的露兰春，惊艳到两眼发直，面前的她真是个绝色的美女，面若桃花，肤若凝脂，一双美目顾盼生辉，再配上她常年学戏练就的窈窕身材和轻盈步伐，宛如一朵出水芙蓉。露兰春大方地走上前去喊了好几声“公公”，那黄金荣才反应过来。接着，露兰春又去拜见阿桂姐。此时的阿桂姐已经看出面前这个小女孩的威胁，却无能为力。因为，她不知道自己还能掌控丈夫多久。阿桂姐和黄金荣结婚时年纪已不太轻，但她为人行事练达，心思细腻，为黄金荣出谋划策，立下了汗马功劳，在黄公馆的地位举足轻重。但是，黄金荣被林桂生管束得太久了，此时的林桂生早已人老珠黄，再加上黄金荣霸势已成，不思进取。林桂生深知丈夫已经开始盘算着一脚踢开自己，好可以寻欢作乐。

黄金荣为了讨露兰春欢心，专门建了著名的“共舞台”，供露兰春登台。共舞台是上海第一个男女同台演戏的戏院，所以叫共舞台。在黄金荣的催促下，几个班子不分昼夜地加班加点，很快，共舞台就建好了。黄金荣又开始给露兰春挂头牌，竭力捧她出道。露兰春登台唱戏，黄金荣亲自下戏院为她把场子，带一帮人为她喝彩叫好。露兰春本身学艺精湛，人又漂亮，很快就出名了，成为上海滩名角。

因为露兰春的原因，共舞台几乎场场爆满，生意非常兴隆。之后，黄金荣又开始花钱买报纸版面，每期为露兰春登的戏目广告，都放在最抢眼的位置。除此之外，露兰春每次出入戏院，黄公馆的车都会第一个到，保镖随身跟着。黄金荣又在戏院附近为露兰春修了个独门小院，用来休息。对她的关怀可谓无微不至。露兰春对这些无可奈何，当时的伶人，又有几个是清白之身呢？何况，她还是被黄金荣一手捧红的，最后只能半推半就地做了黄金荣的外室。

黄金荣因为得到露兰春而春风得意，没想到几天之后，就因为露兰春吃了个大瘪。那天，露兰春正在台上唱戏，结果开场不久就唱错了戏词，老听戏的都听得出来，但没有人敢吭声，因为黄金荣正在台下“压阵”呢。不料偏有不信邪的，大声喝一声倒彩！这下好了，露兰春自打登台，还没有塌过这样大的场，又委屈又羞愧，当场掩面大哭，奔往台后不出来了。一时戏院大哗，不知如何收场。黄金荣一看此时的场面，火冒三丈，带着几个手下找到那个喝倒彩的年轻人，二话不说甩了他两个耳光。结果，灯打亮之后，黄金荣发现打的是卢永祥之子卢筱嘉，心里暗道不妙，但又不敢动声色，只能假装不认识卢公子，放他走了。

当时，正值第一次直奉战争以后，直系军阀战胜奉系，控制了北京政府。皖系段祺瑞、奉系张作霖，与在广州的孙中山暗中联络，结成孙、段、张三角联盟，共同对付直系军阀曹锟、吴佩孚。居间联络的则是四少公子：孙中山之子孙科、张作霖之子张学良、段祺瑞之子段宏业，还有卢永祥之子卢筱嘉。时人称此四人为“四大公子”。这位卢筱嘉年方二十有二，交际甚广。他长居上海，对当地旦角名伶了如指掌。露兰春一唱红，各家报纸纷纷报道，自然招惹了不少狂蜂浪蝶。卢筱嘉就是其中一个。卢筱嘉最爱听戏，他一听说报上捧露兰春，当即轻车简从，专程前往老共舞台。谁曾想受了这等委屈？

那卢筱嘉本身就是个公子哥，横行上海滩也不是一天两天，吃了这顿羞辱，岂肯甘休？他恶狠狠地朝黄金荣抛出一句：“等着瞧！”愤然离去。卢公子气急败坏回到龙华，就要动用护军使署的军队开进法租界，活抓黄金荣，挖掉他的两只眼睛，看他还敢不敢“有眼不识泰山”。何丰林不敢得罪上司的爱子，可也不敢真的就动用军队去为卢公子争风吃醋，左右为难。但风声已经放出去了，黄金荣得罪护军使衙门的事情已经传遍上海滩，眼看一场冲突势不可免。后来这件事情传到卢永祥那里，岂能不恼火，但是碍于和黄金荣这干人早有烟土生意上的往来不便发火。

再说黄金荣自从打了卢筱嘉之后，心里惴惴不安，担心对方找上门。第二天晚上再去剧场，他带领保镖倾巢而出，临出门还亲自给法捕房打了电话，要全班华捕到场助阵。刹那间，共舞台戒备森严，各出口、太平门旁都站着全副武装的华捕，场中巡逻的则是黑拷绸短打的保镖。这些保镖一个个卷着袖子，敞着怀，凶神恶煞，反倒吓跑了不少胆小的戏迷。结果，一晚上什么事情也没发生。又全副武装的过了几个晚上，还是没有事情发生，黄金荣以为这件事情就这么过去了，身边保镖人数也在渐渐减少。而剧场里的客人们也慢慢回来了，还是有很多倾慕露兰春的少爷公子继续捧场喝彩送花篮。

这天晚上，黄金荣带着四个保镖又来捧露兰春的场。散场之后，他先到后台找到露兰春献殷勤。结果露兰春冷冷地表示今晚累了，让黄金荣回家睡去。黄金荣无奈，又不敢得罪这位被自己惯得脾气越来越坏的大小姐，只能带着保镖坐车回黄公馆。结果，车才行了一半路程，就被一群人拦了下来。一个身着白色西装的青年直接将一把枪架在了黄金荣脑袋上，说：“黄老板，我们好久不见啊。”黄金荣一看对方是卢筱嘉，一时不知怎么回答。几个便衣上来就狠狠地给了黄金荣两个耳光，打得他头晕目眩。随后一个便衣朝他腰间又踢了一脚，黄金荣马上一捂腰，蹲了下去。几个保镖已经被打翻在地，无法动弹，黄金荣也被两个便衣架进一辆早已听候在旁边的军用车上，汽车朝淞沪护军使署驶去。

黄金荣被绑架的消息第二天成为了上海滩的头条新闻，各大报纸纷纷报道了此事。堂堂华捕第一号，上海滩大名鼎鼎的黄老板，竟然在自家的一亩三分地上遭人绑架，大亨面子尽失。保镖当天晚上已经赶回黄公馆向阿桂姐汇报事情经过，免不了又是一顿打。

阿桂姐第一次遇到这种事情，一时间想不出主意，只能派人把张啸林和杜月笙找来帮忙。两人第一次看见阿桂姐这么焦急，心知今天的事情不寻常。杜月笙先开口问：“阿桂姐，发生什么事情了？”

“你们师傅被人绑架了，你们这次一定要想办法。”

“谁吃了熊心豹子胆。”张啸林粗声大气地回答。

“应该是卢永嘉绑架的，是军方的人，我们现在怎么办？”

张啸林一听是卢永祥的儿子，知道事情比较复杂。虽然，这时候他已经和杭州那边的卢永祥有所联系，但是交情并不深，而且经过调查，他知道永祥最疼爱这个儿子。最后，只能开口：“阿桂姐，您先别着急，现在具体情况我们还不知道。等明天，我去打探一下消息，然后我和月笙一起研究怎么救师傅。”

“是啊，阿桂姐，我们保证把师傅安全地带回来。”杜月笙也附和。

从黄公馆出来，张啸林心里已经大概有个眉目。他先让杜月笙想办法筹点钱，然后立刻给张载阳写信。信上讲明情况，希望这位老同学能帮他在卢督军面前说些好话。希望督军让卢公子发泄痛快之后，能留黄金荣一条命。

第二天，杜月笙赶往法领事办事处疏通关系想办法。张啸林带着杜月笙筹集的两万块钱，直接找到何丰林。

何丰林见来人是张啸林，已经猜出几分，两个人开门见山地说话。

“何大人，我想知道卢公子现在心里痛快了吗？”

“张老板，这件事情实在对不起，你也知道，卢公子是督军最宝贝的儿子，而且给你透露个实话，这件事督军也是默许了。”

虽然很多事情都在张啸林预料之内，但是也有些超出他的想象，于是，他只能拿出两万块钱，推到何丰林面前。“何大人，您也知道，黄老板是我师傅。师傅有难，我这个做徒弟的即使赴汤蹈火也要想办法。”

何丰林看着钱，又抬头看着张啸林，说：“张老板也别着急，我一定想办法帮你在督军面前求请，而且，我想督军不过是想让公子出出气，并没有真要杀黄老板的意思，不过，黄老板这次肯定要受点委屈。”

张啸林知道事情有缓和的余地，立刻对何丰林千恩万谢。

再说黄金荣被关在何公馆的后花园里的假山下面的私牢里，连日来，由于挨打、冷饿、心情郁闷焦躁，他精神十分颓唐。第二天下午通道口的木栅门才被打开了，卫兵班长端来一碗米饭，往地上一搁：“喏，吃饭！”黄金荣看着碗里的糙米饭和萝卜条，实在是没胃口，也就没动手。外面士兵一看这情况，直接嘲讽：“不饿死你就算便宜了，你还挑三拣四。”黄金荣又撑了一下午，实在撑不住，只能对付着吃起碗中的冷饭。

几天之后，张载阳先给回信，信上确认卢督军已经命令卢筱嘉立刻放人。这边刚收到信，那边何丰林也派人要求过来接人。阿桂姐亲自跟着张啸林过去接人，在何公馆看见被折磨得瘦骨嶙峋的黄金荣，她立刻泣不成声。何丰林立刻代表卢永祥给黄金荣道歉，并表示卢筱嘉已经被押送回浙江，由卢永祥亲自管教。黄金荣吃了哑巴亏，也无可奈何，只能怪自己没对方权势大。回到家中，黄金荣静养了一个月才算缓过来。之后，他又开始天天往剧院跑。

这件意外虽然过去了，但是黄金荣和露兰春之间的纠葛还没有结束。1922年，黄金荣直接强娶露兰春为妻室，从此不再让她抛头露面，这也成了当时上海滩轰动一时的花边新闻。露兰春无奈，为了进入黄家之后，能好好生活，于是在结婚之前提出两个条件：第一，要从林桂生手里接掌黄家全部财权；第二，自己是清白女儿身，要正式举行婚礼，坐龙凤花轿。黄金荣有今天，全仰仗阿桂姐的相助，现在他却想一脚踹开原配。阿桂姐一听这个条件，心里已经凉了一半，知道与黄金荣已经恩断义绝。后来，露兰春邂逅了沪上一富家公子，并以自己的智慧和勇气，采取铤而走险的行动，与炙手可热的黄金荣展开斗智斗法。这一“家庭纠纷”，又成为上海滩上引人注目的大新闻。

如果说张啸林靠女人成事，那黄金荣就是一直栽在女人手中。没隔多久，黄金荣又做了一件比“露兰春事件”更丢人的事情，还是争女人。

吕美玉是上海京剧名旦吕美樵的长女，黄金荣在共舞台把她捧红，花了不少心血，正当黄金荣打算把她弄到手的时候，魏廷荣却先下手为强，将吕美玉娶进家门。黄金荣哪里吃过这种亏，自然气不过，想尽办法要整倒魏廷荣。不过魏家势力也不容小觑，在“三大闻人”联手以前，他在法租界是最有势力的华人，手里有一支法租界当局都得倚重的商团武装，可以充当私家军。魏廷荣自知得罪了黄金荣，但同时他又想：自己是正经生意人，为什么要与黄金荣那种瘪三并驾齐驱。于是，他开始联合一帮有势力的法租界头面人物，向法国国内当局申诉，说上海法租界巡捕房和黑社会势力相勾结，腐败透顶，民愤极大。于是，法国大使开始派人过来查，法租界为了撇开关系，将所有的事情推到黄金荣身上。黄金荣为了保全面子，只能自动退休。