几乎所有的人都不曾料到，第二年——乾隆十三年（1748）春天的会试，纪晓岚竟然马失前蹄，放榜时名落孙山。

导致纪晓岚落第的原因，是“以经破题”，不为考官所欣赏。

会试亦为三场，第一场试《四书》文三篇，这三篇《四书》文即可决定考生的命运。从乾隆四年（1739），皇帝即有谕示，殿试策文，推重经史。五年（1740），又颁谕倡读宋儒书，令儒士研精理学。九年（1744），朝廷再度提倡科举士子讲求经学，本年策试天下贡士，乾隆皇帝又谆谆告诫：“不可事词章而略经术，急进取而竞声华[1]。”“国家设科取士，首重者在《四书》文[2]。”考官阅卷亦必先阅头场，择其清真雅正者，再合较二、三场。《四书》文不及格，其他再好的文章也难进入考官法眼。

本年第一场三道《四书》文题目是：

一、《大学》“好人之所恶”二节；二、《论语·八佾》“子曰：呜呼！

曾谓泰山不如林放乎”二句；三、《孟子·尽心上》“鲁君之宋，呼之垤泽之门”二句。

如果按正常发挥，潜心经学的纪晓岚应对这样考题当不是难事。或许是太想在这次会试中能够出手不凡，来个碰头彩，他不按常规，来了个别出心裁的“以经破题”——用现成的其他经文来破《四书》之题。清代独逸窝退士《笑笑录》记纪晓岚从《四书》句子破承之事甚详，其谓：纪晓岚的好友刘墉之侄，为刘墉置了一套宅邸，这套宅邸买下来好长时间却一直空着，有人问其中缘由，刘墉的侄子回答：我叔叔对那套房子不太中意。纪晓岚集《孟子》句评论此事：“旷安宅而弗居，敬叔父乎？甚矣，地之相去也，千有余里，恶在其敬叔父也。噫！为其为相与！”此文文章颇具晚明小品风格，然毕竟是游戏文字，与正规会试之答题标准大相径庭，故被考官批落。

纪晓岚这一回聪明反被聪明误，懊悔不迭。

犹如兜头泼了一盆冷水，贡院发第一场榜，踌躇满志的纪晓岚只觉得眼前金花飞迸，差点昏厥过去。同来赴试的士子们，原本把他当成第一个对手，这回纪晓岚被勘落，有人弹冠相庆，有人为之扼腕。

已经成为纪晓岚知心朋友的董元度，也为之惋叹，他写了一首长诗安慰纪晓岚，勉励他振作精神，再鼓羽翮。

这次落第对纪晓岚心理上的打击是沉重的，让他平生第一次尝到了失意的酸辛。

以后几十年的官宦生涯中，纪晓岚曾八任乡、会试正、同考官，提督福建学政，每一次赴任，都能躬谨此事。在他七十九岁那年任壬戌会试总裁官时，尚念念不忘，有诗写道：“拭目挑灯夜向晨，官奴莫讶太艰辛。应知今日持衡手，原是当年下第人。”

朋友们很及时地给了他慰藉。这一年，纪晓岚与秦涧泉、卢绍弓、张松坪、周筠溪、陈筠亭、王穀原、左羹塘、丁药圃、钱辛楣，还有刚刚到京做官的好友袁皋使的哥哥袁守侗等青年士子再加上从兄纪昭，结了一个“文社”，每半月聚会一次，商榷制义，经常长谈到天明才各自回家。又往往彼此过从，或三四人、或五六人，看花命酒，日夕流连，时以诗句相唱和，日子倒也过得很快。他渐渐从落第的阴影中摆脱出来，仍旧又是那个活泼慧黠、风流倜傥的纪晓岚了。

更让纪晓岚郁闷的是，文鸾死了。

因为当年回京仓促，四婶答应他等给文鸾置办好衣服，就送她进京。这期间，他给四婶写过信，四婶复过一信，言即送文鸾入京，以后再无消息。

之后纪晓岚得到老家那边的消息，文鸾去年在纪府做婢女期限已满，四婶有意成全，便为她置办衣服簪环，即将打发人送文鸾进京。但文鸾的父亲受人调唆，向纪府索要高价，四婶不允，文鸾的父亲即将文鸾领回家中，这件事就僵持下来了。文鸾回老家后，不久竟抑郁而死。

纪晓岚闻文鸾死讯，悲不自胜。从此每到中秋时节，家乡送来新采摘的红枣，他的思念之情便油然而生。

又过了几个月，纪晓岚纳郭氏彩符为妾室，那年郭彩符十三岁。

郭彩符的父亲是大同人，流寓天津，生郭彩符时，其母梦见一个人卖端午节的彩符，买了一枝，因此便把刚落生的女儿唤作彩符了。

郭彩符聪明漂亮，一副小鸟依人的样子，深得纪晓岚喜爱。在众多的妾室中，郭氏和后来的沈氏是他最倾心的。