狄更斯一家的日常生活一直是由玛丽姨妈在打理照料，所以当她打算再嫁时，这一家人固有的生活状态被打破，甚至面临瓦解。无疑，小狄更斯是不希望玛丽姨妈再嫁的，不过，玛丽姨妈的继子与狄更斯倒是十分合得来。玛丽姨妈的新丈夫是查塔姆军人医院一位名叫拉默特的外科医生，他生活富足，妻子很早就过世了，留下一个儿子，名叫詹姆斯，当时正在等待征召入伍。詹姆斯非常爱好戏剧，他把自己大部分的空闲时间都花在了剧场里。詹姆斯和狄更斯是好朋友，又比狄更斯年长几岁，所以时常以一种师长的姿态，给予狄更斯一些帮助。他听过狄更斯的朗诵，并指导他某些单词的念法。他还告诉狄更斯有关戏剧及表演的知识。有一次，他带狄更斯到剧院，欣赏了一出莎士比亚的戏剧。

那是狄更斯第一次接触戏剧这种艺术形式，在狄更斯的一生中也算是值得大书特书的一天。当时是冬季，天气非常寒冷，狄更斯穿着羊毛制的新靴子，脚趾还是被冻得发麻。当他进入剧院后，帷幕慢慢升起，严寒被抛在了脑后，狄更斯目不转睛地盯着舞台，视线从来没有离开过。台上是一出快乐的场景时，他就纵声大笑，把手掌拍得通红；台上是一幕哀伤的故事时，他就低声啜泣，泪水打湿了衣服的下摆。虽然那时候，他还不是很清楚莎士比亚到底是什么人，他也不会想到自己日后在英国文学界的地位会与莎士比亚不相上下。

演出结束后回到现实中，玛丽姨妈的婚礼正在有条不紊地积极筹备中，拉默特医生决定离开查塔姆军人医院，前往爱尔兰开始新的生活。这样的话，詹姆斯就要留在狄更斯家里，直到入伍为止。

拉默特夫妇离开后不久，狄更斯一家的经济状况开始走下坡路。老狄更斯和伊丽莎白都不是持家理财的好手，玛丽姨妈在的时候，还能量入为出、精打细算，现在又回到了在朴次茅斯时的状态。商人们纷纷来要债，老狄更斯一点办法也没有。他向亲戚朋友们求助，可是一无所获，最后只好从各方面缩减开支。首先，老狄更斯决定全家搬到比较便宜的房子里；然后，他变卖部分家具，遣散仆人。

小狄更斯的新家在台地下一片平坦开阔的地带，与旧居相比，这里显得平板而单调，没有任何跟“优雅”二字有关的布置。唯一能够给人精神慰藉的是它的旁边有一座教堂。可惜狄更斯一家搬过去没多久，教堂就变成了仓库，之后越来越破败不堪。

小狄更斯对居住环境的改变好像并没有多大感觉，他那时正沉浸在学习的快乐中。教堂的牧师有个儿子，叫做威廉，他一心想创办学校，平时在家里就教邻居家的弟弟妹妹一些知识。小狄更斯就是学生之一，不久后，姐姐芬妮和斯蒂文家的两个孩子也加入其中。

孩子们的友谊并没有受到搬家的影响，他们依然一起玩耍，一起做很多事情。只不过他们必须多走一点路了，斯蒂文姐弟到狄更斯家，占了下坡路的便宜，而小狄更斯和芬妮就得一步一步往上爬，才能到斯蒂文家。

威廉虽然并没有在正式学校任职过，但是他一直怀抱着投身教育事业的理想，钻研多年，对教学方法很有自己的一套行之有效的理论，他把孩子们教育得很好。在他们之中，威廉最欣赏小狄更斯，觉得他天资聪颖，敏慧好学，对知识具有极大的好奇心，将来一定大有前途。他给小狄更斯取了个昵称——“独一无二”。狄更斯成名以后，他儿时的那些朋友都这么叫他。

不久后，威廉终于创办了一所学校。这是一所男子学校，校址就设在狄更斯家附近，除了两排校舍，还有一个运动场供孩子们玩耍。经过一段时间的发展，它在当地渐渐有了些名气。

威廉一直鼓励狄更斯阅读和思考，还时常借书给他。这时候的小狄更斯可能隐约地看到了自己事业的第一缕曙光。尽管他的家庭环境非常困窘，但是小狄更斯励志要上一所著名的大学，然后借由这条路达到自己成为有教养、有学识的绅士的目标。他为这个目标全心全意地努力着，以至于无暇注意家里到底发生了什么变化。老狄更斯在他心里无疑是偶像一样的存在，他从没有怀疑过父亲的智慧，而且之前在玛丽姨妈的照料下，狄更斯家秩序井然。可是现在因为玛丽姨妈的出嫁，债务矛盾日益凸显，附近商店的老板对待狄更斯一家的态度也发生了些微改变。

大约在小狄更斯10岁的时候，老狄更斯奉命调往伦敦。消息一出，狄更斯家几乎挤满了要债的人。老狄更斯没有办法，只好卖掉剩下的家具，勉强还清了债务。这让小狄更斯对目前的处境有了清醒深刻的认识，他不想离开查塔姆，尤其是威廉和他的学校。

狄更斯后来回忆离开查塔姆的场景，曾描写道：那是灰暗潮湿的一天，他用稻草把一双脚包得紧紧的，以便取暖。他心里很不是滋味。

狄更斯很爱他的家人——这点毋庸置疑——可是他同样不愿意离开查塔姆。他们在伦敦的新居和在查塔姆的第二栋房子差不多大小，是新建的，坐落在坎登镇，离伦敦市区有一段距离。他们的邻居多数是政府办事员或在市区工作的工人。小狄更斯早上看到很多人步行到市区上班，因为他们付不起往来马车的费用，令小狄更斯没有想到的是，几个月之后，他也成了他们之中的一员。

新房子空****的没什么装饰，住起来也很不舒服，新雇来的仆人也不是很能干。小狄更斯住在阁楼上，窗子对面是一大片田野；正对门口的街上有个抽水机，人们都到那儿取水；街口有一个夜晚巡警的休息站；隔壁住了一位年轻的寡妇，以替人洗衣服维持生计。一到下雨天，镇子里的每条路都变得泥泞不堪，到处都是大水坑；平常的日子里，路上则遍布着垃圾，譬如甘蓝菜梗、马铃薯皮、破瓦罐，还有旧锅、旧盘子等。

不知道狄更斯的父母出于什么样的心理，他们这个时候似乎没有让狄更斯接受进一步教育的打算。相反，他们对芬妮倒是抱有很大期望。

芬妮在音乐上有点天分，经过一位钢琴调音师的引荐，她得到了音乐学院的奖学金，不久后就离家到音乐学院就读。这时候，狄更斯则必须待在家中，替父亲清洁靴子，替母亲照顾弟弟妹妹，供他们差遣跑腿。小狄更斯心地善良，虽然他对自己的现状很不满很伤心，但却没有表现出来。后来，狄更斯回忆过去时，曾写下这样一段话：“窝在小阁楼里，我只想到究竟要付出什么——如果我还有东西可以付出的话——才能使我重回学校，不管哪一所学校，不论学什么，我都愿意。”

当时芬妮12岁，她相当用功，成绩不错，与一些年轻的音乐家也都有交往，其中有些人后来都成名了。小狄更斯就没他姐姐那么幸运了，从一个前途光明、聪明伶俐的学生，沦为家庭杂务的苦工，他觉得自己的生活和一个孤儿没有什么两样。