诗曰：“思齐大任，文王之母。思媚周姜，京室之妇。大姒嗣徽音，则百斯男。”林徽因的名字，从诗经《大雅·思齐》的大姒嗣“徽音”二字演绎而来，后因与中国海派作家、诗人林微音的名字时有混淆，便将“音”改为了“因”字。这是林徽因祖父林孝恂亲自取的名字，意为继承美德，同时引出孙儿满堂，林家昌盛的意思。
林徽因是林孝恂的长孙女，这一房人这一代的第一个孩子。实际上，林徽因的母亲是林长民第二房夫人。林长民原配夫人叶氏早早地过世了，也没有留下一男半女。所以，这位生于浙江小城嘉兴，父亲开了一间小作坊，只能算小家碧玉的女子，还算幸运地作了填房。
后来有人评价，林徽因的母亲何雪媛，头脑像她裹得紧紧的一双小脚一样，守旧又畸形。本是文盲的她，嫁入林家这样的书香门第，好好地经营德容妇容，将丈夫、公婆伺候好了，或许日子会如意吉祥一生。但是，她却不这么想和做。何雪媛在家排行最小，娇生惯养，斗大的字不识不说，也不会女红，而且更为招人不快的是一张利嘴，脾气暴躁不检点小节，特别任性。在家做姑娘时，父母还包容惯着，但是，到了林家，依旧一点也不改性子，我行我素地不以为然。这样的模样，让婆母游氏非常反感，当然其他人也不待见。游氏喜好读书，工于书法，而且女红也拿手在行，既是贤妻良母，又是一派大家闺秀的风范，主母的端架，让人不得不信服于她。一对比，何雪媛自然与婆母相差不是一大截，根本就是处在两个世界里的人，必然不讨游氏的欢欣。生下长女林徽因后，何雪媛也为林家添过一男一女，但都不幸夭折了，家庭地位更令人堪忧，丈夫不疼，公婆不爱，自然成了林家的嫌人。
林徽因有一位优秀出色的父亲，上天便给了她一位平凡得不能再平凡的母亲。上苍说，世间是公平的，人世是不完美的，总有一个支点平衡才好。
林家接二连三地失去子嗣，原本因林长民在日本留学，也没有将纳妾提上议程，如今这样的“香火”不旺，林家人不得不考虑后继的事情。
1912年，林长民娶了第三个妻子程桂林。程桂林也不识字，但是她精明乖巧，投得公婆的缘，伺候林长民也有妻子的章法，慢慢地，自然在林家就有了地位。再到后来，程桂林生下了林燕玉、林桓、林恒、林暄、林垣几个子女，更是受宠得爱，同时林家也有了光大门楣的后来。林桓成为了美国俄亥俄美术学院院长，林桓的女儿林璎，2010年获得美国国家艺术奖章，在美国白宫接受美国总统颁奖。她学习从事的专业，就是姑姑林徽因的建筑学，成绩斐然。林家人都有革命的情怀，到了林徽因这一代，三弟林恒在抗日战争中，驾驶战机阵亡于成都上空。为此林徽因悲伤地写下了《哭三弟恒——一九四一年空难阵亡》一诗，成为经典之作。全诗浸透的惋惜、伤痛、不舍，撕心裂肺地哭诉着！当然，这是后话。
程桂林一脉，枝繁叶茂，深得林家人的宠爱。由此，林长民便以“桂林一枝室主人”居称，又因宅院里栽着栝树两株，他又自谓“双栝老人”。
程桂林的好，林徽因母亲何雪媛的不是，一直笼罩在这个家庭，尤其在林徽因的心头，是一个无法解开的伤痛。当然，何雪媛自己何尝不是难过与无奈的。
在大院、堂屋前，林家人是极其喜欢林徽因的。她乖巧，漂亮的样子很像祖母游氏。出生后的林徽因，基本是祖母一手带大的孩子，游氏将她放在自己房里抚养，从小的知识作风启蒙，思想启迪和开发，都是得了游氏和祖父林孝恂的言传身教，两位老人都是文人，有修养，重教育，特别是林孝恂，从布衣成为朝廷命官，所经历过的社会变革和朝廷纷争肯定不一般，自是有一套做人的方式和方法。他不但将自己的儿子送出国门学习深造，也鼓励支持亲属子女出国，另外他还资助蒋百里赴日本留学，蒋百里后来成为民国时期著名的军事教育家，由此可见林孝恂独显其慧眼和敏锐的政治家思想。
20世纪末浙江石门民间发现林孝恂手书的对联：
书幌露寒青简湿
墨花润香紫毫圆
林孝恂读书泼墨，书卷气一直伴随为官道路。这幅对联正是林孝恂宦余生活的写照。文人官人，大多有不一样的经历，也会造就不一般的气质和气魄。林孝恂敢于打开封建思想的禁锢，实乃真开明。林孝恂请了国学大师和外籍教师在家中讲学；聘请国学大家林琴南讲析四书五经；聘请新派名流林白水讲授天文地理知识，以及境外概况；又招了外籍教师华惠德(加拿大)、嵯峨峙(日本)来家教习英文、日文。这种做法，用今天的话归纳来说，就是叫教育投资，而多半眼界开阔的人选择的方式和理念不同。在晚清有这样的教育做法，是超出常人和常规做法的，而且中西兼容，更不容易了。
林徽因在这样的家庭环境中长大，受到的熏陶必然比其他孩子高出一筹。林徽因作为中西方文化契合的最好范本，这与林孝恂主持的家庭教育模式是分不开的。
林长民时常在外，留林徽因在祖父母膝下环绕。林徽因6岁时，她就开始做了祖父的通讯员，代笔给父亲写信。这些信已经无法寻到了，但是，家人幸运地保存了一些林长民给她的回信，弥补了这份遗憾的珍贵。记录最早的一封书于林徽因7岁时。
徽儿：
知悉得汝两信，我心甚喜。儿读书进益，又驯良，知道理，我尤爱汝。闻娘娘往嘉兴，现已归否？趾趾闻甚可爱，尚有闹癖(脾)气否？望告我。
祖父日来安好否？汝要好好讨老人欢喜。兹寄甜真酥糕一筒赏汝。我本期不及作长书，汝可禀告祖父母，我都安好。
父长民三月廿日
如果去探究林徽因的信件，可从其父亲的回复中得出些许感慨——这是一个早熟的姑娘。能将家庭事一一地梳理清楚，她能打理好日常琐碎事情，有不一般的练达。且作为长孙女的她，肩负了兄弟姐妹的表率作用，她就是这个家庭的标杆。虽然她还是一个孩子，尤其还是一个女孩子，但是，林家人对她的期望，没有男女的歧视，从林长民积极地带她去英国见世面的举动中就可看出一二。在她十二岁时，父亲与她的一封书里写道：
本日寄一书当已到。我终日在家理医药，亦藉此偷闲也。天下事，玄黄未定，我又何去何从？念汝读书正是及时。蹉跎误了，亦爹爹之过。二娘病好，我当到津一作计□。春深风候正暖，庭花丁香开过，牡丹本亦有两三葩向人作态，惜儿未来耳。葛雷武女儿前在六国饭店与汝见后时时念汝，昨归国我饯其父母，对我依依，为汝留□，并以相告家事。儿当学理，勿尽作孩子气……
林徽因曾对知己费慰梅倾吐谈论过童年的生活。后来，费慰梅有一句话，真切地记录下了林徽因当时的情形和思想：“她的早熟可能使家中的亲戚把她当成一个成人而因此骗走了她的童年。”这是林徽因一种早熟的写照。她没有了童年，或者她的童年作了一颗寂寞的种子埋下，一直没机会发芽，一晃早春便如此匆匆地过了。
祖父病故后，林长民忙于北京政务，全家人北上住在天津。林徽因一定程度上成了天津这个家里的主心骨，照顾自己的母亲和二娘，还有几个幼小的弟弟妹妹，打点家务，她承担了不应该是一个女孩，特别是一个贵族女孩应该承担的事务。她保存的一封与父亲的通信上是这么批注的：“二娘病不居医院，爹爹在京不放心，嘱吾日以快信报病情。时天苦热，桓病新愈，燕玉及恒则啼哭无常。尝至夜阑，犹不得睡。一夜月明，桓哭久，吾不忍听，起抱之，徘徊廊外一时许，桓始熟睡。乳媪粗心，任病孩久哭，思之可恨。”这样细碎周到的家庭汇报，不是一般小女孩能做到的。林徽因的能干和懂事，成就了她可以发展职业的本领。这样锻造出来的孩子，事业上必有过人的耐力和坚持力，也能吃苦和晓理。
林徽因没有童年，或者说童年和少年，都在不知不觉中被日子的充实剥夺了。林徽因在这些家事处理中，学到和懂得的，远比书本和经验之谈来得直接和有效。童年是困惑的，童年也是收获巨大的。对于林徽因来说，是愿，还是怨，现在不得而知。但是，小小的孩子，终究在大大的事情面前，无比自信地完成了许多人无法承担的任务，这就是林徽因年少时的收获。