一年后，黄炎培事息归国，继续兴办学校。

1905年，蔡元培在深夜找到他，以老师和同盟会上海领导的双重身份说：“炎培，现在外强鱼肉，内部土崩，局势至此，有目共睹。列强得寸进尺，中国主权严重丧失，成了什么样的国家？是该彻底觉醒的时候了……”

他坚定地回应老师说：“蔡先生，我刀下余生，死不足惜，只要对国家有益的事情，听先生的，我干！”

第二天晚上，他就到了蔡元培家，庄严地宣誓：

驱除鞑虏，恢复中华!

创立民国，平均地权!

就这样，他参加了同盟会。1907年，杨斯盛捐资于六里桥，创办了现代化的浦东中学，黄炎培当首任校长。

他与杨斯盛一起，确立了著名的“勤朴”校训，为浦东中学人才辈出奠定了基础，使该校在当时享有“北南开、南浦东”的盛誉。当时，一般校长的月薪是100银元，他被杨斯盛毁家兴学的义举感动，只自支月薪40银元。

浦东中学兴办后，有人密告两江总督端方，说他们宣讲排满革命。端方下令，要江苏提学使毛庆蕃彻查。毛庆蕃很看重黄炎培的才学，加上杨斯盛以身家性命担保，立即发出公文说：“不准再有人根据旧案控告黄炎培革命。”

1910年1月，他辞去了校长职务，一直任学务校董到1927年。

之后，黄炎培出任江苏都督府教育司司长，曾受侨胞委托筹办东南、暨南、同济等大学。在三年任期内，他全力以赴地改革地方教育，全面规划建设了省立高、中等学校和县立小学，兴办的教育事业为全国各省之冠。

1913年，他发表《学校教育采用实用主义之商榷》，提倡教育与学生生活、学校与社会实际相联系。

1914年2月至1917年春，他以《申报》记者身份在安徽、江西、浙江、山东、北京、天津等地考察了5个多月。

1915年4月，他随农商部“游美实业团”，赴美考察了25个城市52座学校，深入考察了美国的职业教育，撰写出《旅美随笔》。

其间，他见到了举世闻名的大发明家爱迪生，并用爱迪生刚发明的播音器录播了讲话：“我们中国是东方大国，美国是西方大国，两国人民如果同心同意采取和平手段，互相帮助，我们相信大家一定会走上幸福的道路。上海是中国大商埠，纽约是美国大商埠，我愿代表中国人民提出这点希望，和敬爱的大科学家爱迪生先生在这里握一次手。”

他还到日本、菲律宾、南洋各地考察。每次考察均有记录，并结集出版。

他认为：“外国考察，读方书也；国内考察，寻病源也。方书诚不可不读，而病所由来，其现象不一，执古方治今病，执彼方治此病，病曷能已。”可以说，他的考察，均是对症下药，旨在从实际出发解决根源问题。

不过，考察却不是一帆风顺的。有一次，他再下南洋，轮船到达雅加达，一上岸就遭到荷兰殖民者的非法捆绑。那些人在他胸前挂上一个特大的“6”字，强行照相。当他提出抗议质问时，一个傲慢的荷兰官盯着他说：“你是革命党，孙文是第1号，你是第6号，我们不欢迎你，你这长着反骨的中国佬！”荷官让手下人把他推上了船……后来，经多方营救，他才脱险。

黄炎培在对我国教育事业探索过程中，筚路褴褛，历尽艰辛，令人难忘。