1917年，黄炎培从英国考察回来，深感“学而优则仕”的教育思想只是引导学子走官场，无法将知识和实际相结合，于是他决定不再入官场。

同年5月6日，他在上海发起成立了“中华职业教育社”，任理事长，主张对教育进行改革，使“无业者有业，有业者乐业”。国内知名人士蔡元培、严修、张元济等都在成立宣言上，签名支持。这一天，成为我国近代职业教育的开端！

中华职业教育社，从成立到1949年全国解放为止，在他主持下，先后创办了上海中华职业学校、重庆中华职业学校、上海和重庆中华工商专科学校、南京女子职业传习所、镇江女子职业学校、四川灌县都江实用职业学校等，先后出版过120多种书刊，对我国的职业教育事业作出了重要的贡献。

1918年，他创办了中华职业学校。以“教业乐群”为校训，“双手万能”作校徽；提倡手脑并用，注重实践。学校培养的人才辈出，黄炎培因此在全国教育界声名鹊起。

1920年，美国哲学大师杜威博士应邀访华。5月，他邀请杜威到上海的浦东中学等处，联合举办讲座。杜威推崇实用主义，而他主张务实教育，两人在教育理念上，不谋而合。

当时，他在演讲中极力抨击传统教育，根据数据详实、有理有据的说明，让听讲的人震撼非常，当时27岁的毛泽东就在台下听讲。25年后，毛泽东在延安机场迎接黄炎培，当时毛泽东笑着说：“我们20多年不见了！”他疑惑不解，待毛泽东讲起1920年的往事，他才笑而释然。

1921年，他被委任为教育总长，却拒不肯就职。

1922年，他参与起草学制，进行乡村建设实验，筹办南京高等师范专科学校、河海工程专门学校(现河海大学)、东南大学、上海商科大学、厦门大学等高校。

他在兴办教育时，因为支持学生员工的进步活动，被江浙买办财团的一些人谩骂为赞同“赤化”。1927年，蒋介石以“学阀”之名，对他进行通缉。他去苏联未成，流亡至当时的日租界大连。回沪后，闭门三年，以卖文为生。

他在职业教育实践中，积累了丰富的教育经验，对后世颇具影响——

他建立了沟通教育与职业结合的渠道，他认为：职业是社会生存所必需的分工产物，教育是保持和发展各行各业的条件。他说：“人类一切问题的中心，是生活。为了生存就要有供给，自社会生活采分工制，求工作效能的增进与工作者天性、天才的认识与浚发，进而与其工作适合，于是乎有职业教育。教育的功能是传道、是发展。前人所获得的知识和经验，乐于传给后人，后人从仿效中获得改进，或进而有所发明，这就是教育。因此，教育是延续社会生产，社会生活，保持和发展各行各业的条件。科学是近代工业革命的先导，教育是扩大科学运动之先声。盖今商战、工战，无非学战。”

他认为：“职业一名词，包含对己谋生与对群服务，实是一物两面。二是职业外适于社会分工制度之需要，内应天生人类不齐才性之特征，不仅要求供需相济，而且要求才性相近，才能使事得人，使人得事，使百业效能赖以增进，并使人获得职业的乐趣。”

他的职业教育思想，主要有四个方面，对后世影响很大：

一、提出“使无业者有业，使有业者乐业”的理论。

这一著名教育理论，是他1915年赴美考察后，在学习借鉴国外职业教育经验基础上提出的。他认为，职业教育有四个目的：“谋个性之发展；为个人谋生之准备；为个人服务社会之准备；为国家及世界增进生产力之准备。”

通俗来说，人们参加职业教育，不是为了“学而优则仕”，而是发展个性；只有发展了个性，才能充分施展才能；而教育就是为了人就业做准备的；这种教育具有普遍性，是为国家和社会增进生产力的途径。

二、主张做学合一，手脑并用，知识与技能并重，理论与实际并行。

他认为：“职业教育的目的乃在养成实际的、有效的生产能力，欲达此种境界，需要手脑并用。”他曾批评清末兴办的实业教育：“非教以农工商也，乃教其读农工商之书耳。”

他看到了教育与生产能力的关系，强调实践的重要性。“无论东方还是西方，其学校教育都侧重于对学生进行伦理道德、古典人文科学和治人之术的教育，这就使得教育内容和生产劳动脱节。”“我国古代的教育完全是为了培养皇帝的忠实奴才，是替封建统治阶级服务的，是‘奴化’教育。它以儒学为主要教育内容，很少涉及生产和科学知识。”这是他对封建教育的高度概括。

他曾提出“人职匹配”的职业教育观，他指出要“因职业的各各不同，与人的人性、人才、兴趣、环境的各各不同，替它分别种类，谁则宜某种，谁则不宜某种。”这种思想，对发挥人的才能和创造力非常重要。因为它能够根据人的才能特点和职业特点，进行分门别类匹配教育，如果根据孩子自己的兴趣和特长诱导施教，就能够让孩子成为真正意义的人才。他发现一个孩子喜欢玩积木，能够制作成各种建筑图形，就时常带这孩子到高处去看上海的市容全境，培养他对工业的兴趣，引导他去学习研究建筑业。这种身体力行，对子女的教育为后人作出了榜样。

三、目标：“国无不教之民，民无不乐之生，学校无不用之成材，社会无不学之执业。”

他全力推行职业教育，就是为了实现上述目标。他认为，职业教育不强调选拔和淘汰，它不限制任何人的个性发展，也不排斥培养精英和致力于人人成功。接受这种教育的人，都能成才，如果社会上每一个执业者都接受职业教育，那么全国整体教育水平会普遍提高，从而极大促进生产力，而生产力与人民生活质量息息相关。这种大众化、务实性、多样化的教育，是教育发展的必然趋势。

四、提倡“大职业教育主义”。

黄炎培认为，要实现职业教育的思想并不容易，这需要整个社会生产力发展到一定水平。他说：“经济因素对职业教育的影响是直接的，因为职业教育是适应机器大生产对劳动力的新需求而产生的教育类型。源于较早发生工业革命的欧洲国家。”

然而，到1949年，全国工业化率才达到12.5%，城市化率只有10.64%。他的职业教育理想，并未实现，他说：“我们所希望(的)，百分之七八十没有达到。”他率先提出了“大职业教育主义”的主张，认识到“发展职业教育，决不能仅从职业学校，仅从教育界，甚至不能仅从农工商几个产业下功夫，而必须参与整个社会运动”。

他还提倡开门办学，他说：“办职业学校的，须同时和一切教育界、职业界努力的沟通联系。提倡职业教育的同时，须分一部分精神，参加全社会的运动。”

他的“大职业教育主义”，使他的职业教育思想，提高到了一个新水平。这是他为民族振兴而不懈追求的曲折历程，也是他所信奉的座右铭：“理必求真，事必求是。言必守信，行必踏实。”