乾隆五十三年，京师工部衙门遭火灾，高宗弘历命工部尚书金简召集工匠重建。时京师流传一联：“水部火灾，金司空大兴土木。”过了很久没人能对出下句。某中书官为河间人，对人说：“这只有我同乡纪晓岚才能对。”于是便去拜访纪，请他对下联。纪说：“这好像不难对。”犹豫片刻，忽然笑着对中书说：“只是有点碍于您怎么办？”中书说：“只要能对，都没有关系。”纪于是对道：“北人南相，中书君什么东西。”中书闻对羞愧而去，京师满城皆哄传其事。