1036年8月，范仲淹带着热诚执着的心来到饶州（江西鄱阳）任所。饶州在鄱阳湖边上，范仲淹从开封走水路到饶州，沿途要经过十几个州县。由于他得罪了朝廷权贵，除扬州外，所经州县地方官员都不敢出面接待，但他毫不介意。在途中还赋了一首诗《郡斋即事》：

三出专城鬓似丝，斋中萧洒胜禅师。

近疏歌酒缘多病，不负云山赖有诗。

半雨黄花秋赏健，一江明月夜归迟。

世间荣辱何须道，塞上衰翁也自知。

范仲淹自幼多病，许多年来又一直过着清苦的生活，再加上处理政务劳累过度，因此他患上了肺病。由于他被贬，妻子李氏受到惊吓，加之来饶州的路途十分艰辛，不久，李氏就去世了。同甘共苦的妻子离开尘世，范仲淹悲痛了很长一段时间。后来，写了“愁肠已断无由醉，酒未到，先成泪”之类的诗句来怀念妻子。

此时，在附近任县令的文友梅尧臣特地寄来诗词勉励他，这给了范仲淹极大安慰。

范仲淹从丧妻之痛中走出来，立刻投入到当地政务中去。他充分了解当地的情况后，决心减少杂税，严明法令。

当时鄱阳湖积水成灾，沿湖一带的城墙皆被冲毁，而且在修复时屡砌屡塌。范仲淹先是实地调查，又访问了许多百姓，最后制定“河中淘金”的方法，就是在城墙周围挖坑排水，再用糯米蒸熟后掺拌石灰砌石块，加固城基，坍毁的城墙很快修复了。

范仲淹又修葺州内先贤祠坊，为有德行的人树碑坊。在城内德化桥，竖起我国古代三大贤母之一——陶侃之母湛氏的故址巨碑。西晋大将军陶侃幼年丧父，家境贫寒，陶母湛氏常告诉他结交朋友要以诚相待。一年冬天，陶侃年少时的朋友鄱阳孝廉范逵来访。一时之间，家里拿不出像样的东西来招待客人，陶母随即入室，剪掉自己的头发拿去变卖，换来酒食款待范逵。陶母又把冬天铺床用的稻草编织的垫席拿去剁碎，用来喂范逵的马。立先祠，树德坊，对弘扬正气，扭转颓风，起了积极作用。当然，范仲淹依旧不忘发展教育，他找到一个地方准备建学堂，结果还没有开工就被调走了。

很快，饶州被治理得“终日无事，优游于政”。在饶州一年半期间，范仲淹的诗作相当多，其中有一首《酬滕子京同年》：

谢家风雅若为酬，散吏方耽海上游。

疏懒几忘传笔梦，寂寥仍有负薪忧。

欲歌兰雪归真隐，敢向簪轩竞急流。

如共茂先瞻气象，莫言神物在南州。

1037年，首相吕夷简被罢为镇安节度使、同平章事，判许州。曾经对范仲淹大为赞赏的前首相王曾，也同时被罢为左仆射、资政殿大学士，判郓州。这是两人争权的结果。

原来当年王曾担任首相时，吕夷简为参知政事。他对王曾十分恭谨，王曾就力荐吕夷简为亚相。不久，王曾被罢，他升为首相。后来，吕夷简为了表示风度，请王曾为首相。宋仁宗没有同意，吕夷简为首相，王曾为参知政事。但是吕夷简的专权，使王曾渐渐无法忍耐，两人逐渐不合。王曾数度求去，吕夷简也摆姿态，每每自求罢免。宋仁宗觉得奇怪，就问王曾：“卿亦有所不足邪？”

王曾就不客气地指责吕夷简以权谋私，当时正盛传吕夷简曾接受贿赂，王曾便向宋仁宗转述这个传言，宋仁宗就以此诘问吕夷简，吕夷简要求对质，两人就在皇帝面前互揭疮疤。

宋仁宗发现王曾所言虽有失实之处，但吕夷简确实难脱嫌疑。因此，感到非常不悦，将两人均予罢斥。接替吕夷简的是王随及陈尧佐二人，吕夷简曾向皇帝密荐这两个人可用。

12月，发生了一场大地震，死者近两万余人。当时，谏官韩琦上疏说：“现在地震发生在北，或者上天孜孜遣告，边塞可能就要有事了。希望从今起严饬边境守臣，密修兵备，审择才谋之帅，悉去怯懦之士，明军法以整饬军纪，充实粮草以备不时之需。”

直史馆叶清臣上疏：“一岁之中，灾变仍见，必有下失民望，上违天意，所以上天才会垂戒以启迪清衷，而陛下泰然不以为意，徒使内侍走四方，治佛事，治道科，这是于事无补的。”他又借机为被贬的范仲淹等人申辩，他说，自从范仲淹、余靖等人因为言事被黜以来，天下的人宁愿咬断舌头也不谈论朝中的事情，这种情形已经两年了，希望陛下能深自咎责。

于是，朝廷在年底发布命令，把范仲淹调到润州（江苏镇江）。虽然没有获得回朝廷的批准，但是距离上离京城要近了。好景不长，朝中一些人担心范仲淹会被复用，就合力编造一些子虚乌有的罪名，在宋仁宗面前诬陷范仲淹。

果然，宋仁宗被那些攀诬之词所惑，打算把范仲淹贬到岭南。所幸参知政事程琳向宋仁宗说明其中的真伪，范仲淹才免去一次政治灾难。在循例所呈的“谢上表”结尾，范仲淹表明自己“进则持坚正之方，冒雷霆而不变；退则守恬虚之趣，沦草泽以忘忧。”

在润州，滕宗谅及魏介之来拜访范仲淹，他作了一首诗来表明当时的心情：

长江天下险，涉者利名驱。

二公访贫交，过之如坦途。

风波岂不恶，忠信天所扶。

相见乃大笑，命歌倒金壶。

同年三百人，太半空名呼。

没者草自绿，存者颜无朱。

功名若在天，何必心区区。

莫竞贵高路，休防谗嫉夫。

孔子作旅人，孟轲号迂儒。

吾辈不饮酒，笑杀高阳徒。

1038年，京师的官场又有一些变化。吕夷简下台后，接替的王随及陈尧佐不久后双双被罢免。

其实当初吕夷简之所以密荐他们为相，本意就在用庸才代替自己，让他们去出丑，然后皇帝自然会想起他。这样，他就会有机会重新掌权。果然，一个因为与其他执政大臣相处不好而称病；一个是年纪已大，事多不举，时人讥讽中书省为“养病坊”。

正好山西大地震，不满他们掌权的人纷纷借机攻击他们无能。韩琦就指骂他们“贻笑中外”、“紊乱纲纪”，上奏疏几十次，要求罢免他们。宋仁宗还犹豫不决，韩琦上言道：“陛下迟迟不予撤换，难道是因为找不到辅弼的人才吗？其实，像杜衍、孔道辅、胥偃、宋郊、范仲淹等人，众人都认为是忠正之臣，就可以加以擢用。即使这几个人陛下都不中意，则以前曾担任过执政大臣的王曾、吕夷简、蔡齐、宋绶等也是人所属望，为何也不考虑加以任用，而听任几个非执政之才居高不下呢？”结果罢斥王随、陈尧佐的意见是采纳了，可是韩琦推荐的人选宋仁宗并没有任用，而以张士逊、章德象接替。

由韩琦曾推荐范仲淹出任执政看来，纵使朝廷一再以朋党为诫，而范仲淹也已被贬斥在外，但为范仲淹讲话的人，仍有许多。

同年十月，朝廷又有诏，戒百官朋党，其中宣告天下范仲淹之所以被贬，是由于他曾密请立皇太弟侄为太子，而不只是诋毁大臣。然后警告说：“今中外臣僚屡有称荐仲淹者，事涉朋党，宜戒谕之，故复下此诏。”

这时，参知政事之一的李若谷，看了这纸诏命后说：“近年来风俗薄恶，动不动就以朋党两字诬害善良。其实，君子小人本来就各有其类，本来就不一样，如果一律视之为朋党，臣恐正臣反会因此而无以自立。”宋仁宗对他的说法甚表同意。

1038年11月，范仲淹被调到越州（今浙江绍兴）。

到任后不久，首先做的仍旧是大兴教育。他在卧龙山（府山）西侧创办州学——稽山书院，聘请名师学者任教。在他的倡导下，越州办学之风大兴，各种学堂、私塾盛行，以至“绍兴多出读书人”一直延续至今。越州百姓为褒扬他的兴学之功，在他调任离越后，在州署之前立“百代师表”的牌坊，永为纪念。范仲淹体恤民情，用自己微薄的俸禄帮助了许多人。

他在这里还创作了影响较大的《清白堂记》。当时的州署在今绍兴府山的越王台附近，在州署旁有一凉堂，年久失修爬满草藤。范仲淹命人整治，无意中发现一口“渊然丈余”的古井，“泉清而白色，味之甚甘”。范仲淹有感于泉之“清白”，命其为“清白泉”，将凉堂命名为“清白堂”，又在其旁新建一座“清白亭”。他多次亲居清白堂，登临清白亭，品味清白泉，有感而发，写出《清白堂记》。同时，也创作了许多其他诗篇。如《诸暨道中诗》：

林下提壶招客醉，溪边杜宇劝人归；

可怜白酒青山在，不醉不归多少非。

还有《越上闻子规诗》：

夜入翠烟啼，昼寻芳树飞。

春山无限好，犹道不如归。

从饶州、润州到越州，以现在的省分区划，即从江西、江苏到浙江。每个地方的隐逸式生活，确实是“春山无限好”，可是“先天下之忧而忧，后天下之乐而乐”的范仲淹，遥对政治中心的京师朝廷，仍然“犹道不如归”。