相貌丑陋的纪晓岚却偏偏又碰上乾隆，所以即便他再才华横溢，也难得到真正的重视，难以参与重大的政治决策，只能以文字安身立命。纪晓岚只能做乾隆的词臣，而难以做乾隆的宠臣、重臣。纪晓岚一生中两次任乡试考官，六次任会试考官，三次任礼部尚书，均是这种际遇的体现。这种官职并无重权、实权，只是大清朝廷的摆设而已。

乾隆十九年（1754年）至三十三年（1768年），是纪昀在翰林院春风得意、酣酒高歌的日子。这时与他交游的朋友中有王鸣盛、钱大昕、朱筠、卢文弨、王昶等。乾隆二十年，纪昀在北京歙县会馆拜见了戴震。两人一见如故，并折节与交。

乾隆三十三年（1768年）六月，据《清高宗实录》记载，两淮盐政卢见曾因有营私贪污行为而被革职查办。纪昀则因为通风报信而被发配乌鲁木齐。这件事《清朝野史大观》的记载更为生动有趣：当时纪昀得知消息，想预先通知卢家。但又怕引火烧身，不敢轻易传话、写信。他想出了一个绝妙的办法，把一点食盐和茶叶封在一个空信封里，里外未写一字，星夜送往卢家。卢见曾从中终于悟出其中的隐语：“盐案亏空查封”。后经刘统勋等人的严密侦缉，纪昀终于败露，同年十月，被遣戍乌鲁木齐赎罪。

在乾隆三十六年六月奉召回到京城之前，纪昀在新疆呆了两年多。在这两年多时间中，其大儿子纪汝佶病亡，爱妾郭彩符在纪昀东归不久也撒手人寰。在这段日子里，纪晓岚对人生有了更深切的感悟，体会到了君主的无常、官场的险恶与世态的炎凉。一种人生的空幻感与弥漫感伤的情绪时时萦绕于心际。

两年的大漠风沙没有使他意志颓唐，却让他更加参透了人生的三味，让他变得更丰厚、更扎实了。一百六十首《乌鲁木齐杂诗》，洋溢着他的才情，也蕴藉着他对人生的大思考。

恩命召还，治装东归，走了四个多月才回到冠盖云集的京华。纪晓岚恍如隔世，面对友人赠送的一张《八仙对弈图》，他写下了这样的诗句：

十八年来阅宦途

此心久似水中凫

如何才踏春明路

又看仙人对弈图

局中局外两沉吟

犹是人间胜负心

那似顽仙痴不醒

春风蝴蝶睡乡深。

他对“世事如棋”发出了感慨，他向往“春风蝴蝶睡乡深”的悠闲境界。但这不过是一种心灵的憧憬而已。

这一年，他点勘了《瀛奎律髓》、《文心雕龙》、《王子安集》、《韩致尧集》、《唐诗鼓吹》、诸书。

重返翰林院，使纪晓岚的思想为仕与隐的抉择产生过激烈的斗争。他对人生世事的认识更加清醒，对胜衰荣枯之理也有了更深的理解。与其争强好胜，还不如酣然“痴不省”而来得快活。

但是，纪昀最终还是选择了继续过那种“水中凫”的生活，火热的经世情怀终于战胜了退隐的念头。纪昀生活后期，备受恩宠。他三迁御史，三入礼部，两次执掌兵符，最后竟以礼部尚书、协办大学士加太子太保管国子监事致仕。纪昀不仅居高位，享盛名，而且执学术牛耳，为士林所宗仰。洪亮吉就称他“当代无人可并论”，是名副其实的一代文宗。虽然如此，他晚年的内心世界却日益封闭。年轻时一度才华横溢、血气方刚的他，至此，日感疲惫，再“无复著书之志，唯时作杂记，聊以消闲”，其《阅微草堂笔记》正是这一心境的产物。所以当《阅微草堂笔记》脱稿时，他不无抱憾地吟咏道：“平生心力坐销磨，纸上烟云过眼多。拟著书仓今老矣，只应说鬼似东坡。”

八十岁后的纪晓岚似乎已进入他生命的暮年，但这只是生理上的现象。在他的一生中，他很少有袖手不问世事的时候。在他去世的前二年，还上奏摺驳山东巡抚请增设左丘明五经博士，并且为妇女请命，认为横遭侮辱屈死的妇女，应打破循例予以旌表，视同屈死的烈士忠臣。这个举动在当时颇有惊世骇俗之意义。

嘉庆十年乙丑正月初六日，纪晓岚调礼部尚书，协办大学士，加太子少保，并管国子监事。二月，他负责祭奠田妃事宜，充先医庙承祭大臣，这次他感染了风寒，遂一病不起。

纪晓岚卒于是年二月十四日，享年八十二岁，谥文达，取“敏而好学可为文，授之以政无不达”之意。