晏阳初回国后，先回家探望了母亲，给母亲讲明心中所想，得到了母亲的大力支持，母亲要他出门，为国家做点有益的事情。

他回到上海，以上海基督教青年会为依托，开始调查研究、着手推广平民识字教育，编辑了《平民千字课》教材，分别在长沙、嘉兴、烟台几个城市进行试点扫盲，成效卓著。

1922年夏，他发起全国识字运动，号召“除文盲，做新民”。

1923年8月，全国推行平民教育的总机关平教会(中华平民教育促进总会)成立，他任总干事。最初平教会扫盲重点放在城市，城市平民教育取得成效后，他又将目光转向农村。他认为，中国以农立国，农村是社会的基础和中心，要想改造中国，必先改造农村，而改造之道就是教育。

1926年，他开始在河北定县(今定州)搞乡村教育实验。

实验中，他认识到：“仅教农民认识文字，取得求知识的工具，而不能使他们有使用这套工具的机会，对于农民是没有直接效用的。在乡村办教育如不去干建设工作，是没有用的。在农村办教育，固然是重要的，可是破产的农村，非同时谋整个建设不可。不进行建设的教育是要落空的，是无补于中国农村社会的。”

他“希望通过实验找到建设中国农村并使农村现代化的最好方法和技术”，同时开始综合的社会改造试验，实行文艺教育、生计教育、卫生教育、公民教育“四大教育”连锁并进，学校式、家庭式、社会式“三大方式”统筹进行，史称“定县实验”。

他号召知识分子“走出象牙塔，住进泥巴屋”，1929年，他带上妻子和4个孩子，从北平迁居到定县。在他的带领下，一大批知识分子来到定县乡村，展开了旨在“培育国本，振兴民族”的平民教育与乡村建设实验。

晏阳初认为教育不能孤立存在，必须与建设合谋，教育为建设服务，建设反过来促进教育。所以，在“定县实验”中，更多的是建设工作，比如品种的改良，灌溉工具的改良，棉花购销合作社的组织，乡村保健室的设立，而教育则蕴涵在这些建设工作之中……

经过几年的努力，“定县实验”探索出了成就，影响轰动国内外，络绎不绝的人来定县参观考察。1930年，国民政府首次把民众教育列入国家法规。他随即表示愿在乡村教育上与政府合作，不断游说政府，加大对民众教育的投入。

1931年春，他应蒋介石之邀，到浙江奉化县溪口镇指导乡村建设，返回南京，与蒋氏夫妇畅谈平民教育。蒋介石深为赞许“定县实验”是实现“三民主义”的基本工作，一边派人到定县接受训练，一边派毛应章等去定县仔细考察。后来，毛应章一行人写出了近10万字的考察报告，呈送蒋介石，提出建议：“在南京近郊择县设立实验区，将所得成绩交由各省县推广，在推广之前先责成河南、湖北、安徽、江西四省提前试办。”

1932年冬，全国第二次内政会议通过《县政改革案》，县政建设运动自这次会议闭幕后启动，在这一过程中，全国形成了11个省20个实验县，其中以河北的定县为典型。

1933年春天，河北省县政建设研究院成立，以定县为县政建设实验区，其目的在于“学术政治化，政治学术化，实开政治与学术合作之新纪元”。晏阳初兼任院长。

1933年10月，美国著名记者埃德加·斯诺到定县参观后，撰文称赞定县的工作“很具戏剧性并且证明是最重要的生活改造工作。这是除苏俄之外，其他任何地方所未见过的”。

抗战爆发后，晏阳初带着平教总会回到四川，在成都、南充、泸县等地展开平教运动。