1876—1925年期间，日本学前教育机构有了很大发展。1925年（大正十四年），日本有957所学前教育机构，收容幼儿83000人。直到20世纪初，公立幼儿园在日本幼儿园中一直占据主导地位。

1926年（大正十五年），公立幼儿园为372所，私立幼儿园692所。作为学前教育设施，《学制》规定设立幼稚小学，招收6岁以下的幼儿，但是由于日本的传统观念是把教育婴幼儿的责任完全放到父母的身上，地区居民对学前教育设施的必要性缺乏理解，而一些守旧人士更是鼓噪儿童进入幼儿园会削弱家庭教育，有损亲子之情，同时由于经费问题，政府的重点又是放在创建小学上，重视义务教育，对于非义务教育的投资不得不减少，因此，幼稚小学实际上未能及时落实。

1876年，文部省决定成立以培养幼教师资为目的的东京女子师范学校，并建议在女子师范学校内建立附属幼儿园。于是，日本第一个学前教育机构——东京女子师范附属幼儿园正式开办。幼儿园首批招收3～6岁的幼儿75人，依照年龄分班，每班约40个幼儿，大都是达官显贵子弟；园舍为西洋式建筑，庭院宽敞，设备完善；监事（相当于园长）精通英语，首席保姆为德国人。该幼儿园的教育目的表述为：“发掘学龄前儿童的天赋知觉，启迪其固有的心智，滋补其健全的体魄，使其通晓交际情谊，具备良好的言谈举止。”教育思想、教育内容、教育方法和实际教育工作完全受德国教育家福禄培尔观点的影响，以“恩物”为教材进行教育，按科目分类教学，开设的科目有：生活、美感和知识等，教师教幼儿游戏、黏土、绘画、筷子的操作、唱歌、形状的了解、剪纸、折纸等。由于这一时期政府尚未通过关于幼儿园的任何法律，因此，这个幼儿园制定的“保育要旨”和“项目”等规则成为各个幼儿园的通用标准被普遍接受，并为后来日本各地成立的幼儿园所仿效。

1899年，文部省制定了《幼儿园保育所设备规程》，对幼儿园的性质、建筑设备、教育内容、入园年龄、在园时间、幼儿人数、幼儿与教师的比率、课程与幼儿教育的基本问题等方面都作了具体的规定，幼儿园的规则大体确立。此后，成立幼儿园要先将目标、地点、课程、规则、假日、薪级、建筑草图等送请文部省（国立幼儿园）或地方政府（国立以外或私立幼儿园）查核，查核通过后才能设立。

为了促进学前教育的发展，1884年文部省实行了奖励开设简易幼儿园的办法。这种幼儿园收费低廉，入托者可免费或只交少量入托费。这样，幼儿园数量迅速增加，到1897年全国已有国立幼儿园14所，公立幼儿园153所，私立幼儿园55所，在园幼儿两万名。但是，随着妇女就业人数的增加，简易幼儿园仍不能解决所有孩子的入园问题。于是，为了解决贫困家庭孩子的教养困难，一些慈善性质的机构、福利团体和私人组织开设了托儿所（或称保育所）。

1890年日本学前教育史上的第一间托儿所在新泻市成立，它是由民间人士赤泽钟美夫妇出于慈善动机开办的，专门为贫民子女服务。1894年大日本纺织公司为照顾员工的孩子，分别在东京和深川的工厂附设了托儿所。1899年在东京的一个贫民区设立了“双叶幼儿园”，这个幼儿园历经百余年，至今仍然存在，但已改名为“双叶托儿所”。托儿所招收0岁至学龄前的婴幼儿，收费低廉，每人每天仅收保育费2分钱，每天的保育时间为11～12小时，其目的是保护母亲和儿童，注重精神教化。为了降低成本，有的托儿所还规定入所幼儿需自备食品。

第一次世界大战以后，日本妇女就业率空前提高，国内经济萧条，社会秩序混乱，婴儿死亡率居高不下（如1918年为18.9%）。为了照顾就业家庭的幼儿，缓和社会不安，内务省不得不采取一定的对策，决定投入经费扶持、设立更多的托儿所，并号召民间社团及慈善人士支持或承担贫民幼儿的保育事业。1919年第一所公立托儿所在大阪设立。两年后，1921年公立托儿所就达到100所以上。托儿所的课程大部分参照幼儿园，其主要目标在于照顾就业家庭的子女，而提供良好的环境、实施良好的教育只在其次。由于没有规定工作人员的最低资格限度，因此，任何人都可以在托儿所工作。

这一时期，日本在教育政策上关心和大力发展义务教育、中等教育和高等教育，而对幼儿园的发展采取任其自由发展、不干涉的灵活政策，对师资条件和教育内容不作统一规定，给幼儿园以较多的自由。这种政策持续了很长时间，成为日本幼儿教育政策的一个重要特征。日本一向有重视幼教师资培养的传统，幼儿园和保育所的教师均称为“保姆”。早1882年文部省就规定幼儿园的保姆必须是“具有小学教育资格的女子，或是得到其他府县知事许可者”。而到了这一时期，出现了三种类型的保姆培养机关：一是以东京女子师范学校开设的保姆练习科的方式进行培养；二是利用类似保姆见习生的简易方法进行培养；三是基督教系统创办的保姆培养机构。

20世纪初，正值儿童中心主义教育思潮在欧美兴起之际，在新兴的自由主义教育理论影响下，日本一些受西方影响的人士，大胆突破明治后期天皇的专制主义教育观，提出了与西方新教育相呼应的自由主义保育思想，在幼儿教育的内容和方法上，开始批判福禄培尔的“恩物”教育法，转向美国的“自由教育”、杜威的“生活即教育”等新的教育思潮。随后，蒙台梭利教育思想和方法传入日本。蒙台梭利把教育看做是促进儿童内在能力自我发展的过程，强调儿童的自由活动，以及她所设计的感觉教育体系等都在日本幼教界得到了普遍重视和广泛传播。

同时，德国教育家赫尔巴特的教育思想和美国教育家克伯屈的“设计教学法”等都先后传入日本。由于西方各种教育思想的传入和影响，20世纪初期日本幼儿教育的内容和方法日趋灵活，形式趋于多样化，幼教界思想活跃，对外国的经验采取批判地吸收，而不再像过去那样全盘照搬。在学前教育的实践方面也积累了一定的经验，开始探索和尝试更适合日本国情的新方法、新路子。例如，日本教育家谷本富1907年发表演讲，宣称儿童是一个有独立意志、独立人格的独立体，不应由成人随意摆布；幼儿园是幼儿自由游戏的场所，应该禁止一切课业；幼儿园的保教工作必须以“遵循自然”为原则。第二年，他又与人合作发表了《幼儿教育法》一书，系统阐述了以游戏为中心，立足自然主义教育原则的幼儿教育体系。1917年，土川五郎在提倡“律动游戏”之后，又提出“表演游戏”，打破了历来集体游戏中只模仿成人，缺乏节奏感的呆滞做法，使表演游戏成为符合幼儿特点，生动活泼的集体游戏，也使教育内容有了新的突破。

1940年东基吉所著《幼儿园保育法》一书不仅采用了静止游戏“恩物”，同时强调运动性游戏对儿童身心全面发展的作用。这一阶段的学前教育内容还提出利用大自然的条件组织园外教育，让幼儿接受大自然的熏陶，尽情地自由游戏，在自然中开展各种活动，如观察和饲养动物、栽培植物等。教学方法提倡分组教学法，主张在幼儿园开展创造性游戏，如当邮递员、开商店、过家家等。

1926年，文部省正式制定了《幼儿园令》，这是日本学前教育史上第一部较为完整而独立的法令。法令规定：幼儿园是为父母都从事生产劳动，无暇进行家庭教育的幼儿设立的保育机构；其目的是“保育幼儿，促进其身心健全发展，涵养良好的情操，以及辅助家庭教育”；幼儿园放宽了幼儿入园的年龄限制，原则上规定3岁入园，但特殊情况下可以招收3岁以下的幼儿，将保育所纳入了幼儿园体系；保育时间可以灵活掌握，全日制或半日制均可；此外，还规定了幼儿园园长和保姆的任用资格：公立幼儿园的园长“要由小学校本科正教员以及具有保姆资格证者或教员资格证者担任”，保姆要由“具有保姆资格证的女子担任”，公立幼儿园的园长和保姆可以享受国家“委任官”的待遇。

《幼儿园令》的颁布使日本的学前教育逐渐趋于制度化，从而大大促进了幼儿园的发展，幼儿园数量显著增加，平均每年增设15所，到1936年已达到1890所。当然，这一时期幼儿园的分布极不平衡，大城市占一半以上，农村只占不到5%。另一方面，《幼儿园令》的有关规定实际上并未能付诸实施。例如，掌管托儿所的内务省坚持认为，幼儿园不适合贫民子女，招收贫民子女的托儿所仍应单独存在，因此，幼儿园实际上还是以招收富裕家庭的子女为主。

与此同时，一些外国传教士在日本大量创办幼儿园和保姆培训机构，一些社会慈善事业人士在城市贫民区也开始大量兴建保育所和幼儿园，从而使私立园明显增加，甚至形成私立园占优势地位的特点。到1921年，保育所由全国的15所发展到69所，1938年达到1495所，1944年增至2184所。

1941年太平洋战争爆发，美、英对日宣战，整个日本进入战争状态。幼儿园和保育所大量毁坏、倒闭、停办，学前教育濒于停顿，这给正在发展中的日本幼儿教育以致命的打击。值得注意的是，随着日本对外侵略的加剧，尤其是在日本发动侵略中国等国的战争时期，日本国内推行法西斯教育，武士道精神和军国主义思想渗透到教育的各个领域，在学前教育阶段就向幼儿灌输“忠君爱国”“皇民感情”等思想，在教育目的中增加了“注重教养”“纯真虔诚的性格”“炼成皇国之民”等反动思想。这种的教育的负面影响不可低估。