然而，被寄予期望的青年，并不都是一路领先于同龄人，直至做上宰相的。他们中的多数人，在中年都会蹉跎、沉沦，每个人的具体原因各不相同。白居易的蹉跎，就体现为丁忧和贬谪。

按照当时的制度，父母去世要在家丁忧三年。这是让一个人的仕途慢下来的契机，也是官场的暗斗容易发生效力的节点。丁忧者远离朝政，看着“沉舟侧畔千帆过”而不能有所作为。丁忧结束后，有的人可以马上东山再起，有的人就要受到政敌的乘机阻挠。

白居易及第时，已经服完父丧。在他四十岁时，母亲去世了。在此之前，他做了多年言官，已经受到了不少人的嫉妒和怨恨。此时，朝中政局复杂，前有“永贞革新”，后有“牛李党争”。作为新晋官员，白居易在“永贞革新”中倾向刘禹锡等人；作为科举出身的寒素士人，白居易在“牛李党争”中倾向于牛党。白居易不是极端派，只是在党争中略有倾向，但既然有党争，就难免会受到对立面的刁难。

白居易丁忧时，就隐隐感觉到了不好。这时候，他开始写闲适诗。这些诗作表面是写自己安于闲适的生活，不用上班很开心，实际上仍然透露出被遗忘的焦虑与落寞。果然，丁忧结束，朝廷迟迟不肯重新征召白居易。

在不祥的预感中，四十四岁的白居易等来了政治上的打击。他被诬陷了一堆莫须有的罪名，最终被贬为江州司马。

江州司马是六品官，从品级上来看也不低，但是士大夫在乎的不是官品的高低，而是能不能做自己想做的事。州司马是太守的副手，是地方上的闲职，如果皇帝暂时不想用你，但是还不至于剥夺你的官员身份，那么就最有可能给你安排这样的职位。从拾遗到州司马，虽然官品还升了两品，但心理感受是从天上跌到了地下。直言敢谏的拾遗经常会落到这样的境地，被“贬为”一个官品比拾遗还高的地方官。

白居易在江州司马任上待了四年。其间，他写了又一力作《琵琶行》。在琵琶女的身上，他寄寓了自己的人生经历：少年时代，我是那样春风得意，那样被人看重，我才华横溢，“曲罢曾教善才伏”；在热闹的京城里，世家子弟争相与我结交，“五陵年少争缠头”；但是好景不长，“弟走从军阿姨死”，提携我的长辈，与我交好的朋友，我曾经依靠的人一个个都指望不上了，我突然就“门前冷落鞍马稀”了，我不再是那个最年轻的才俊，而已经“暮去朝来颜色故”了；最后，我沦落到这浔阳江头，“夜深忽梦少年事”，回想起少年时代，我居然以为自己会是国家的栋梁，于是“梦啼妆泪红阑干”。其实，哪里那么巧，浔阳江上真有一个琵琶女，还和白居易一样是从京城来的？即使有这么一个人，白居易哪里会真的跟她半夜在舟中相处？琵琶女不过是白居易糅合了他在贬谪路上见过的一个歌女的形象，幻化出的另一个自我。堂堂翰林学士，把自己说成一个年老色衰的歌女，这是怎样的自轻自贱？这反映了白居易在江州的极度自我放逐的心态。歌女的红泪滴进现实，就是江州司马的青衫之泪。

在江州任上，白居易也时常思念他的好友元稹，也曾到治下的庐山游玩，留下了很多脍炙人口的诗作。

四十八岁的时候，白居易终于等来了迁转，到忠州去做刺史。忠州虽然地处偏远，不是什么好去处，但是能做刺史，无疑是一个可能重新受到重用的信号。刺史是五品官，可以穿绯袍。对于中古的士人来说，做到五品官，是一个身份提升的标志，可以算是真正的“大夫”，可以对这一辈子有一个交代了。地方官的五品，还不能跟京官的五品相比，但总算是给了已近知天命之年的白居易一个安置，标志着流放生涯的结束。事实上这也成为白居易升为朝中高官的起点。

这个阶段，白居易本人就是一直被放逐的，他的诗作也天然是放逐的诗作。放逐的时光，往往催生出一个诗人生命中最精彩的作品。白居易一生都是在精神上游走于大唐边缘的诗人，而在现实中被放逐的这几年，最终成就了作为诗人的白居易。