1917年冬，晏阳初当选耶鲁大学华人协会会长，同时是男青年会会员。他在此期间有幸认识了女青年会会员许雅丽——当时哥伦比亚大学师范学院体育系的高材生，曾获中国留美同学会东部分会主办的女子游泳比赛冠军。两人在多次集会活动中相遇，最终成为好友、交往密切。

1920年8月，他回到上海，见到了许雅丽，当时许雅丽已经和二三好友创办了女子体育师范学校，两人重逢甚是喜悦，不久成为恋人。

1921年9月23日，两人结为伉俪。从此后，两人并肩携手，志同道合，同甘共苦，共写人生辉煌。

定县实验之初，许雅丽就支持丈夫，并带上儿女定居到定县，还办起景慧学校，解决同仁们儿女上学的问题。

战乱时，“平教总会”南迁长沙，西移四川，许雅丽都带着孩子，与丈夫同行。重庆私立乡村建设学院开学时，日军空袭、物资匮乏、医药不足，100多个学生、教员和家属都将许雅丽当做学院的精神支柱；遇到空袭她先督促师生家眷隐蔽，但她总是最后一个离开。可以说，她将全部的精力和时间都花在了学院里。

1950年，许雅丽领上两个女儿，与丈夫定居美国。丈夫不停地把平民教育运动推向世界，飞往各地奔忙，她就承担起所有的家务，让丈夫没有一丝后顾之忧。

1980年8月18日，85岁的许雅丽，突发心脏病，医治无效，在美国逝世。

晏阳初曾这样描述妻子：“那美好的仗，她打过了，并始终持守自己的信仰。她留给人们的是一种祝福，她的一生，对很多人来说就是一种激励。”

夫妻俩共生育了5个孩子，两个女儿，三个儿子。1949年，他与妻子离开中国的时候，三个儿子坚持要留下来建设新中国。他就带着妻子和女儿，经台湾去了美国。

三个儿子与自己的姐妹约定：“新中国”一周年时，寄一张照片到纽约。如果三人都坐着，表明他们生活得不错；如果有人站着，则表明那个人的处境危险，如果这样姊妹就都不要再回中国来了。

一年以后，照片寄到纽约，姐妹打开来一看。兄弟三人全都站着。后来，大儿子曾任定州乡村建设学院名誉院长，其他两儿子都死于“文革”，最年轻的那个还是自杀身亡。

晏阳初晚年仍坚持推广平民教育，于1990年1月17日病逝于美国。

1993年，他的长女遵照遗嘱，把他的一部分骨灰送回巴中安葬，后来他的陵墓建在巴中东郊的塔子山上。