1877年2月1日，徐特立作为家中排行老二，于湖南省长沙府善化县四都观音塘(今长沙县江背镇观音塘)出生，来到这个令人费解的世界。

他祖父，是个中医，悬壶济世，在当地颇有一些声望。

他父亲，是个忠厚老实的农民，沉默寡言，不善言辞，一生为农，远离士族阶层，远离读书人群，饱受地主欺压，意志慢慢麻木，从来没有想过要通过读书来改变生活境况。不仅他父亲是个文盲，连他哥哥也一字不识。

不久，他的一个妹妹出生。一家五口，生活清苦，却也安乐，并没感到生活的穷困。

然而，他4岁时，母亲操劳过度，病倒在床，终于有一天，脸色蜡黄的母亲，斜躺在浑浊的油灯下，颤颤巍巍地拉着他和妹妹的手，泪水滑出了眼窝，不甘心地闭上了双眼。

不久，他祖父也离开了人世。

前后两件丧事，尤其是母亲去世后，全家陷入更加艰难的境地，加上地主盘剥、沉重的徭役赋税，一家人的日子越过越艰难。此时，他刚能说清话语，就开始学洗衣服、做家务，照顾妹妹，跟父亲下地，帮忙拔草。

年幼的他曾经不解地问父亲：“为啥我们要在田里干活，地主们只是叼着烟斗来看看就行了？”父亲只是长叹一声，无可奈何地回应说：“这是命喔。”“命是啥呀？”他好奇地问。

父亲却对他说：“命就是我们应该在这里干活，然后收了稻子，大部分交给地主。”

他看着父亲，似懂非懂，难道命就该是这样？

他6岁那年的除夕，兄妹三人听着远处爆竹声声，等待父亲去领打短工的工钱回来过年。

然而，天黑了很久，爆竹声都淡下去了，父亲还没有回来。正当哥哥安顿好他和妹妹，打算去找父亲时，父亲两手空空，一身泥土和伤痕的回来了。他和哥哥清楚，地主家又赖账了，这不是第一次，这月推下月，下月推年底，年底推来年，已然多次。

父亲蜷缩着身子，垂着头，窝在墙角。他哥哥一脸无望和无奈，沉默地望着外面。唯有年幼的妹妹去拉父亲的手，要糖吃。他虽年幼，却已懂得生活的艰辛和苦涩。这个没滋味的春节，深深刺痛了他的灵魂，尤其稚气的妹妹拉着父亲问“糖在哪儿”时，他虽认为这是命，却依稀觉得不公平，只是年幼的他还无法明了。

他和哥哥、父亲忍气吞声，勤恳种田，期望日子好过些，然而赋税越来越重，收成却不见起色。为了更好的耕田，父亲向地主借了钱购置农具，借钱时，同地主说好了三分利，打了欠条。然而当年大旱，田地几乎颗粒无收。父亲蹲在地头几乎绝望，然而看着三个孩子，父亲只得强打精神。

到该还债务时，父亲去煤窑打工赚了三贯钱，又变卖了家里唯一的桌子和椅子，才凑齐了该还的钱。卖桌椅时，妹妹抓着父亲衣角问：“父亲，没了桌子我们咋个吃饭啊？”父亲苦笑着说：“我们在地上吃饭，不打紧的。”妹妹却不依不饶，扬着头问：“以后我们还有桌子吗？”父亲回答：“会有的，会有的。”

尽管父亲声音微弱，但他还是听出了父亲内心的苦涩和哀伤。

他跟着父亲去还钱的时候，才发现他们被地主骗了，欠条上写的十分利，却骗他父亲是三分利，这全因为全家无一人识字。地主指挥狗腿子，将家里的农具全部搬走了，一家人挤在一起，欲哭无泪。

他父亲三天不吃不喝，暗自悔恨，身为顶梁柱没能让儿女吃饱，还因为无知使得家徒四壁，他父亲无法接受这一现实，终于下定决心：让儿子读书，改变命运。

然而，大儿子已经成为主要劳动力，田里劳作不能耽搁，妹妹是个女孩儿，无法抛头露面，那就只剩徐特立适合读书。

1886年，他9岁时，父亲紧衣缩食，凑钱让他读私塾。六年后，因无钱辍学在家。期间曾跟随一个和尚学习禅宗，后在家劳动，又教私塾。直到18岁，他才在一家私塾找到谋生路。

1893年，他为让病重的养祖母转危为安，与十余名同乡，租一小船前往南岳衡山进香。三四天的水上行程，同乡嫌穿行过慢，天天呵斥船夫，而他却深深同情船夫。他看着眼前的不平事，暗暗发誓：今后我若为船夫，绝不渡人，只运猪；我若读书得科甲，只做教书先生，绝不做官老爷！

南岳归来，他愤然将原名徐懋恂，改为徐特立，意为——特立独行，自守高洁，不入污泥，不随流俗。