抗日战争时期，黄金荣一如自己承诺的一样，没有接受日本人的出山请求，隐居在租界里。但是，没有出山不代表没有动作，黄金荣身在“草野”，心在“江湖”，他利用自己的老奸巨猾，游走在各方势力之间，真是个“刀切豆腐两面光”。

首先是与日本人的关系。上海是日本人的天下，黄金荣不得不把与日本人的关系摆在第一位。黄金荣一再推托日本人的请求，没有接受提供给他的公开职务，但是暗地里还是对日本人进行了帮助，这种帮助体现在两个方面：

第一是“荐贤”，就是向日本人的伪政府机构组织推荐人选。因为黄金荣门徒众多，声望颇高，所以黄金荣就屡屡应日本人之邀，推荐“贤人”。像黄金荣的门徒卢英，在抗战前夕担任国民政府上海市警察局缉查队长，上海沦陷之后，卢英随同黄金荣留在了上海。1937年12月5日，日本扶植的“上海大道市政府”成立，就警察局长一职日本人向黄金荣询问合适人选。这时黄金荣向日本人举荐了自己的门徒卢英，说他原来就是警察局里的人物，有一定的能力也有一定的资源。在黄金荣的大力推荐下，日本人任命了卢英担任上海市政府南市区警察局长，不久之后就因为黄金荣的大力荐举和出色表现而被擢升为伪政府军事委员会委员长这一高职。黄金荣通过“荐贤”这种方式，暗中支持了日本的伪政府，满足了日本的要求。

第二是“筹饷”。黄金荣不仅给予日本伪政府人力的支持，还进行财力的帮助，这种帮助就是通过贩卖鸦片为日本人筹集军饷。日本人提供给黄金荣条件，让他利用自己的渠道进行贩卖鸦片的勾当，而黄金荣也爽快地答应，在日本人的庇护下，大肆贩卖鸦片。日本人规定，一箱鸦片烟土价值100元，黄金荣以90元的价格从日本人手中购得，然后销售，从中获利10元。黄金荣从1938年3月起，每月从贩卖鸦片中就可获利5000元。通过黄金荣的贩烟行为，日本人筹集了军费，以便继续维持战争。所以从这一点上说，黄金荣也是日本侵略中国的帮凶。

除了与日本人打好交道，黄金荣还百般讨好汪伪政权。因为汪伪政权虽然听从于日本人，但是却直接管辖着黄金荣，对于这个“县官不如现管”的伪政权，黄金荣处心积虑地维持好关系。

汪伪政权的社会部长丁默村、工商部长梅思平等都是黄公馆的常客。1942年，黄金荣的结拜兄弟陈群投敌，出任汪伪政权的江苏省省长。黄金荣亲自出马，率领大批徒众，乘坐专车到苏州予以捧场。在黄金荣和陈群的安排下，整个江苏省的各级汉奸机构都安插了不少黄门弟子，像吴县县长沈靖华、江阴县长韦长镇、松江县长杨士杰等。

而汪精卫这个汉奸头子，黄金荣更是不会放过，尽力讨好他。平日里汪精卫需要人手时，黄金荣就暗暗派手下予以支援；而汪精卫需要资金时，黄金荣也会予以资助。汪精卫做寿时，黄金荣特请日本三菱洋行买办五一亭精绘《长眉罗汉寿佛图》一幅，派秘书龚天健专程赴南京赠送给汪精卫，表示祝贺。而汪精卫自然也回报了黄金荣，他的伪政权对于黄金荣“分外照顾”，不仅允许黄金荣势力进行各种违法勾当，还帮助黄金荣打击竞争对手。借助汪伪政权的帮助，黄金荣获得了巨大的垄断利益。

黄金荣靠着暗中支持日本人的手法做起了“灰色汉奸”，但是老谋深算的黄金荣知道，日本人终究是会失败的，所以在上海沦陷之时，黄金荣颇为高瞻远瞩地选择了不投靠日本，隐居幕后发财。与此同时，黄金荣也理顺了与国民党的关系。

在整个抗战期间，黄金荣曾多次在各种场合表达他对蒋介石的忠诚。为了表达自己的诚意，同时也为了保护自己的安全，他还让养子黄源涛担任了国民党军统的上海特派员，而其门徒丁永昌则担任了军统上海租界特工派遣站的站长。这样，黄金荣不仅向国民党表示了自己支持抗战，与国军站在一起的立场，还在国民党内部安插了自己的眼线，从而一旦有什么风吹草动，自己可以提前做好准备。除了军统，黄金荣还指使多位门徒接受国民党的各种委任，从而使得他无论在汪精卫的伪国民政府一方，还是在蒋介石的国民政府一方，都能做到门生故旧遍布府衙，黄金荣游走于双方之间，游刃有余。

1940年初，为了更好地控制和指挥上海的抗战工作，蒋介石在国民政府行政院之下设立了上海市统一委员会，任命跟随他辗转至大后方的杜月笙担任主任委员，黄金荣此时也向蒋介石要求加入委员会为抗战出力，黄金荣最终成为了上海市统一委员会24名委员之一。在1940年到1945年间，黄金荣与国民党第三战区司令顾祝同也一直保持着联络。顾祝同曾派遣他的妻舅到黄公馆去探望黄金荣，而黄金荣也曾派遣门徒秦兴炎到江苏和浙江等地同第三战区所设的办事处进行联络，为了表示慰问，还给国民党的军队带去了药品和粮食。抗战胜利前夕，秦兴炎和黄金荣的儿子黄源涛都被顾祝同在驻沪联络专员办事处中安排了相应的职务，顾祝同的心腹何尚时还同秦兴炎和黄源涛结拜为兄弟。

黄金荣在上海沦陷期间与日本人、汪伪政府和国民政府三者之间都有着非同寻常的关系，能够处在相互敌对的势力中不受冷落和打击，反而还受到来自各方共同的青睐。

此外，黄金荣从局势的发展中看出共产党是一股不容小觑的力量，上海现在虽然在日本人手中，但将来一定会回到国民党手中，不过这之后会在谁的手中就说不准了，所以黄金荣对于共产党也表示了支持。他不仅暗中支持中共地下党的活动，而且还与抗日游击队有联系。黄金荣通过关系结识了江浙一带的游击队负责人双枪黄八妹，黄金荣信誓旦旦地说支持革命，支持共产主义，向共产党频频示好。1941年，美国一架战斗机在协助重庆政府作战中，被日军击落在太湖地区，该机飞行员白劳特降落在太湖，被黄八妹的部下救护下来。黄八妹派人向黄金荣送信，经黄金荣的穿线，秦兴炎、何尚时等终于将白劳特护送到后方。

由于大世界地处租界中心，市面繁华，人流杂多而且进出方便，于是被日本和汪伪政权所注目，他们经常派人在这里接头密谈。与此同时，国民党潜伏在上海的军统、中统特务在戴笠的遥控下，也以大世界作为理想的联络点。黄源涛、丁永昌等为获取更多的情报，在大世界楼上办了一个“高峰舞厅”，每券只售1元，但十分豪华，只有有身份的人才能入内。舞厅一开张，汪伪76号特务随之而入，这里成了蒋、日、汪势力角逐的中心。而黄源涛还与76号的第6行动大队大队长吴醒亚为难兄难弟，李士群也会到此了解蒋介石、共产党的情报。共产党也借助大世界发展自己，大世界里已经出现了中共地下党组织，共产党员姚惠廉以剧场工作人员的合法身份秘密发展共产党员，他以帮会的形式作为掩护，吸收下层的曲艺艺人、勤杂工和小贩等加入，暗中进行抗日的活动。这些情况黄金荣都知道，他只充耳不闻。