1912年1月4日，蔡元培回国不久，中华民国临时政府在南京成立，他出任南京临时政府教育总长。

教育部在他的主持下，公开征求国歌，其中由沈恩孚作词的《五旗共和歌》，后来被颁布为中华民国的临时国歌。

同年1月19日，他颁布了《普通教育暂行办法》，主持制定了《大学令》和《中学令》，这是我国第一个大学和中学的校令。

其中《大学令》，以教授治校、民主管理为大学校务管理原则，规定各科设立教授会，大学设立评议会，不过当时未能施行。

他主持修订了教育部的学制，强调要把中学和大学建造成健全国民的学校，主张废止祀孔读经，采用西方教育制度，实行男女同校等改革措施，第一次在政府法令条文中宣布教育上的男女平等。不久，全国初级小学实行了男女同校。

由于守旧势力异常强大，高等学校到“五四”运动前夕，仍未实现男女同校。教育部对此畏首畏尾，各大学都不敢提议招收女生。他非常不满此等现状，不仅在北京青年会进行演讲，也对上海《中华新报》记者发表谈话，公开倡导高校男女同校。他说：“一提议，必不通过。其实学制上并没有专招收男生的明文；如招考时有女生来报名，可即著录；如考试及格，可准其就学；请从北大始。”

他当时就明确指出：“教育者，养成人格之事业也。”提出了“学为基本，术为枝叶”、“学为学理，术为应用”的观点。

他在跟吴稚晖的通信中谈到：“大约大学之所以不满人意者，一在学课之凌杂，二在风纪之败坏。救第一弊，在延聘纯粹之学问家，一面教授，一面与学生共同研究，以改造大学为纯粹研究学问之机关。救第二弊，在延聘学生之模范人物，以整饬学风。”

他坦陈：教育是要个性与群性平均发达的。政党是要制造一种特别的群性，抹杀个性。例如，鼓励人民亲善某国，仇视某国；或用甲民族的文化，去同化乙民族。今日的政党，往往有此等政策，若参与教育，便是大害。教育是求远效的，政党的政策是求近功的……若把教育权也交与政党，两党更迭的时候，教育方针也要跟着改变，教育就没有成效了。所以，教育事业不可不超然于各派政党之外。

他明确提出了废止忠君、尊孔、尚公、尚武、尚实的封建教育宗旨，倡导以道德教育为中心，以军国民教育、实利主义教育为急务，以世界观教育为终极目的，以美育为桥梁的民主主义的教育方针。

1913年，孙中山的二次革命失败，46岁的他，携眷赴法，与李石曾等创办留法勤工俭学会。1915年6月，他在法国同吴玉章、李石曾等人，发起组织了华法教育会，倡导勤工俭学，希望以此组织，帮助更多华人到欧洲求学。后来，周恩来、邓小平等都是通过这个组织，才顺利到达法国学习的。在留法的三年时间里，他从事学术研究，编撰了不少哲学和美学著作。

1916年夏，黎元洪的北京政府，终于明令恢复了民国初年的《临时约法》，孙中山、黄兴等一大批流亡海外的革命党人，纷纷回国。一些浙江籍议员，还发电给远在法国的蔡元培，说是要推选他当浙江省督军。11月8日，他和吴玉章一起，乘船出马赛，劈波斩浪，抵达上海。

他一踏上祖国的土地，就给自己约法三章：不做官，不纳妾，不打麻将。