即使是在时人眼中，他的行为方式和思想方式也与常人迥异。比如，他终生不吃米谷，面只有偶尔食之，饮酒时只猪肉一盘，熬茶一壶。宴请客人吃饭，唯举箸而已。英熙斋曾见他的仆人捧火肉一盆，约三斤多，纪晓岚一边说话一边吃，须臾而今，这一餐饭就算打发了（事见沈云龙辑《清代明人轶事》）。《妙香斋丛话》记他在家时，几案上必罗列榛、梨、枣之属，随手攫食，时不住口，因此人们说他是猴精转世。

虽然以肉当谷，但纪晓岚却不吃鸭肉。《听松庐诗话》云：“西溟不食纪文达不食鸭。自言虽良庖为之，亦觉腥秽不下咽。且赋诗云：灵均滋芳草，乃不及梅树。海棠倾国姿，杜陵不一赋。”

另外，纪晓岚平生不善饮酒，尝自述：“平生不饮如东坡，衔杯已觉朱颜酡。今日从君论酒味，何殊文士谈兵戈。”纪晓岚不以不善饮为憾事，且将此同苏东坡相比，以为虽不能饮酒，却自有其旁观者的乐趣在，再诗谓“仆虽不能饮，跌宕亦自喜，请为壁上观，一笑长风起。”

在纪晓岚时代，沧州所出产的沧酒驰名海内，声誉如同今日之茅台，一罂可值四五金。然地方酿酒人为防征求无餍，相约不以真酒应官，虽笞捶不肯出，十倍其价亦不肯出。地方最高行政长官，连一滴酒也尝不到，其他人就可想而知了。沧州酒有许多神妙之处，一是舟车运输，一摇味即变，须在安静处澄半月，其味乃复。二是庋阁保存二年者，可再温一次；十年者，温十次如故，十一次则变味。一年者再温即变，二年者三温即变，毫厘不能假借。纪晓岚的同年好友董曲江的叔叔董思任，最嗜酒，他做沧州牧时，竟连一口沧酒没能尝到。罢官后，再到沧州，一位进士请他喝沧酒，他喝了如醍醐灌顶，大发感慨曰：“吾深悔不早罢官”。纪晓岚的《栾阳续录》记下了这段佳话。虽不善饮，然纪晓岚却颇知酒之三味。

跟他不能饮酒可相提并论的，是他极嗜旱烟，且烟道颇为出神入化。《清稗类钞》记：

河间纪文达公，嗜旱烟，斗最大，能容烟叶一两许。烟草之中，有黄烟者，产于闽，文达亦嗜之。

又记：

纪文达有戚王某喜吸兰花烟，入珠兰花于中，吸时甚香，然王之烟斗甚小。一日访文达，自谓烟量之宏，文达而语之曰：“吾之斗于君之斗奚若。”乃以一小时赛吸，于是文达吸七斗，王亦仅得九斗也。

《芝音阁杂记》也记载他的烟枪甚是巨大，烟锅亦绝大无朋，能装烟三四两，每装一次，可自虎坊桥宅邸至圆明园，吸之不尽，都人中称他作“纪大烟袋”。有一天他的烟袋丢了，别人都替他着急，他却连说无妨，第二天去东小市，果然见一小摊上摆着他的烟枪，于是以微值购还。因为这支烟枪奇大，别人得之无用，况且京中绝无第二支，所以容易找回来。因为嗜烟，纪晓岚也实在闹出不少类似“靴筒走水”之类的笑话。

纪晓岚感情生活，是典型的显贵方式。十七岁那年，他娶东光县望族、时任城武县令的马永图之女为妻。操办这件婚事的是他同父异母的哥哥纪晫（字晴湖），纪晫比纪晓岚年长十八岁，幼时提挈保护，逾于所生，为纪晓岚娶亲，又花费数百金，而她自己嫁女儿，仅略具簪环衣裳而已。纪晓岚对这门亲事是满意的。但是他又广续妾媵，这件事也得到了他那位兄长的认可，他自记谓：“公（纪晫）自少至老无二色，昀颇妾媵，公弗禁，曰：妾媵犹在礼法中，并此强禁，必激而**于礼法外矣。”（《伯兄晴湖公墓志铭》）

在众多的妾媵中，他最喜欢的沈氏和郭氏。沈氏字明玕，其祖上为长洲人，流寓河间。明玕神思朗彻，殊不类小家女，曾说：“女子当以四十以前死，人犹悼惜。青裙白发，作孤雏腐鼠，吾不愿也”。明玕死时，年仅三十岁。郭氏名彩符，死时年龄也很轻。纪晓岚为她们题写了许多诗篇，极其缠绵悱恻。他为郭氏写的悼诗，其一云：

风花还点旧罗衣，

惆怅酴釄片片飞。

恰记香山居士语，

春随樊素一时归。

他为沈氏所写的悼诗谓：

几分相似几分非，

可是香魂月下归。

春梦无痕时一瞥，

最关情处在依稀。

到死春蚕尚有丝，

离魂倩女不须疑。

一闻惊破梨花梦，

却记铜瓶堕地时。

而纪晓岚为马氏写的祭文，却充满着礼教，而无爱恋之情。他之所以对马氏还比较满意，一是她显赫的家世，二是她贤淑的女德。马氏对沈氏明玕，不仅不泼醋，反而疼爱有加，待如亲生女儿，这使纪晓岚非常感动。然而纪晓岚的情爱观毕竟没有走出一般士大夫的圈子，他极力主张守节是一种顺化自然的爱情极致，在他所著的《阅微草堂记》中，许多情爱故事都反映了他的这种观念。