身为长兄的范仲淹，不仅对自己严加要求，还对弟弟们承担教导的责任。但是朱文瀚的两个亲生儿子则完全和范仲淹相反，不知节俭、浪费无度。范仲淹劝诫他们，起初他们还敷衍了事，后来实在厌烦了，就向范仲淹说：“我用的是我们朱家的钱，跟你什么关系？”
范仲淹听到这话后震惊不已，他忙去询问可能知道他身世的人。人家告诉他，他原本是姑苏（苏州吴县）范氏子弟，因为父亲早逝，母亲带着他改嫁朱氏。范仲淹不得不接受自己不是朱家子弟的事实，他决定自立门户。虽然朱家并没有亏待过他，但是心怀大志的范仲淹不愿意再寄人篱下，何况当时他已经23岁，到了可以出去成就事业的年龄。这时的范仲淹对朱家的感情非常的微妙，一方面他感激朱家将他养育成人，给他提供读书条件，另一方面朱家兄弟的话沉重打击了他，使他十分清晰地感受到这个家的疏离感。
范仲淹下定决心后，就立刻收拾好行囊，佩了琴剑，就要前往应天府。这时，闻讯而来的母亲想要阻止他离开，范仲淹跪倒在地，流着泪恳求母亲不要阻拦他，并承诺将来功成名就时会来接她。谢氏见他心意已决，就不再勉强。范仲淹拜别了母亲，到应天府去求学。
宋朝的应天府就是现在的河南商丘。当时，宋朝政府还没有在地方设立教育机构。国家性质的学校只有中央设立的国子监。国子监有两个功能，一是作为权力机关，是主管学校教育的机构；二是国家最高学府，又称为国子学。必须是七品以上的官员子弟才有权利进入国子学读书，是名副其实的“贵族”学校。但是国子学的学生往往徒有其名，他们大都善于吃喝玩乐，并没有多高的学识。
因为官学要求身份地位，地方上就产生了民办的教育组织——书院。当时比较著名的四大书院有：江西九江的白鹿洞书院、湖南长沙的岳麓书院、河南登封太室山南麓的太室书院（后经范仲淹改名为嵩阳书院），还有一个就是河南商丘的应天书院。应天书院是离范仲淹所在的朱家最近的一个书院，这是他选择到这里读书的原因之一。还有一个很重要的原因是，书院的学生食宿费是全免的，对不愿再接受朱家钱财而一贫如洗的范仲淹来说，这解决了他面临的最大问题。
1009年2月，应天府中一个叫曹诚的人，他拿出大量钱财并雇来工人，在睢阳书舍创办人戚同文住的地方，建造了150间房子。之后又收集千余卷书置于房内，向外广招学生和有名的文人前来讲习。一时之间，讲学的状况十分兴盛，学子们纷纷前来听学。于是应天府向朝廷启奏了这个情况，宋真宗给这个书舍赐名为“应天府书院”，命戚同文的孙子戚舜宾主持院务，应天府的幕职官管理、出资人曹诚为书院助教。应天府书院规模宏大、人才济济，也是吸引范仲淹的一个因素。
应天府书院前身睢阳书舍的创办人戚同文，是个远近驰名的学者。他生长于五代，因为希望天下统一，所以取名同文。戚同文从小就是个孤儿，由祖母“携育于外氏”，范仲淹的境遇与他类似，也许范仲淹是想在这里获得精神上的慰藉。戚同文被赞为“纯质尚信义”，他最爱接济有困难者及贫乏者，一生不积财，从不以自己为先。从范仲淹一生的行事中，我们也可以发现，有不少确是戚同文的遗风。
戚同文当年读书“累年不解带”。范仲淹在应天府书院，每日昼夜苦读，到晚上如果感到倦怠时，就把脸浸在水中提神。他“五年来未尝解衣就枕”，以此来节约时间。“起居饮食，人所不堪”。范仲淹就是以此来严格要求自己，做到“两耳不闻窗外事，一心只读圣贤书”。当然，这不是意味着他是个只会死读书的人，而是他并不把对吃穿等物质要求放在心上。
在应天府书院苦读的日子里，他曾自比为“人不堪其忧，回也不改其乐”的颜回。在《睢阳学舍书怀》诗中写道：
白云无赖帝乡遥，汉苑谁人奏洞箫？
多难未应歌风鸟，薄才犹可赋鹪鹩。
瓢思颜子心还乐，琴遇钟期恨即销。
但使斯文天未丧，涧松何必怨山苗。
1014年，迷信道教的宋真宗率领百官到应天府之南的亳州去朝拜太清宫。朝拜后，来到应天府。群臣绘声绘影的附和说，看到“天书”从皇帝的车驾升空，有云五色如花，又有黄云下降。宋真宗大喜之下，立刻下诏，升应天府为南京。宋初原有东京开封、西京洛阳；宋仁宗时，又建大名府为北京，现在加上南京共有四京。同时对境内及出巡以来所经各县行特赦，并御“重熙颁庆楼”观酺三日。酺就是国有喜庆时皇帝赏赐臣民聚会饮酒。
应天府内热闹非常，书院里的同学们都跑去看热闹，想一睹皇帝的“圣颜”。唯独范仲淹仍旧读书如故，丝毫不为所动。于是有个同学就问他，现在有一个千载难逢的机会能见到皇上，你怎么无动于衷呢？范仲淹不疾不徐地回答了一句：等到他日再见也不晚啊。
当时应天府升为南京，京表示是天子所在的地方，所以建了一座宫殿。设有“留守”为最高官职，代替天子留守。
南京留守的儿子正好也在应天书院念书。他见范仲淹所吃的东西只有咸菜稀饭，回家后就把这件事告诉了父亲，于是留守就派人给范仲淹送来许多饭菜。可是，几天过去了，食物都放坏了，仍不见范仲淹吃一口。他的同学非常气愤，质问范仲淹是不是看不上他家送来的饭菜，为什么都放坏了还不吃？范仲淹忙解释说：“我不是不感激你的厚意，只是我已习惯了粗茶淡饭了。如果现在吃了这么丰盛的饭菜，以后还能吃得下粥吗？”
应天府书院