纪晓岚要南下福建，当然不是为了游山玩水。他负有巡视督学的圣命。提督学政的使车沿官道南行，沿途地方官长无不盛情迎送，纪晓岚一路要有一些应酬。
南行经过献县单家桥，发生了一点小小的意外。单家桥，今名单桥，架在献县东南滹沱河故道上，为明崇祯年间修建的石拱桥。
由于桥处于御路，车马繁忙，石砌的桥面被轧出深深的车辙，凹凸不平。单桥驿卒用小轿抬纪大人过桥。行走间，一名驿卒不小心跌了一跤，一下子把钦差大人摔出轿外。
惹了大祸的驿卒不知所措，纪晓岚站起身来，态度平和又不失诙谐地吟出四句诗：
失足寻常事，疲癃不汝嗔。
忍饥今几日？我是故乡人。
意思是说，跌跤是常有的事，你腰身不利索我也不责怪你，几天没吃饭了吧，怎么这么没力气？不过没关系，亏你碰到我，咱们是老乡啊。紧张尴尬的局面就在轻松一笑中化解了。
经过五千多里长途跋涉，纪晓岚于严冬季节到达福州。
乾隆二十八年（1763年）十月，纪晓岚按临汀州（在今长汀县）试院。试院里有两棵大柏树。当地官员告诉他说，这是唐朝古物，已经有了神灵，考试前考官须拜祭它。纪晓岚觉得哪有朝廷使臣参拜鬼怪的道理，不予理会。
到了晚上，月明星稀，纪晓岚从屋内踱出，刚走到台阶上，忽见树梢上有两个身穿红衣的人向他躬身作揖，细看时，红衣人渐渐消逝。
他有些奇怪，心想这兴许就是父亲跟他提起过的所谓“点头朱衣人”吧。
纪晓岚少年时的老师李若龙曾经八次会试都没考中，不免有些牢骚，曾借别人的梦境发泄胸中怨闷，说试场并不公平，说穷达有命。纪晓岚对举业中历经沉浮的老师有一种同情心理，他不经意地跟父亲谈起此事。
父亲纪容舒很严肃地批评他说：“若龙是个应举的士子，发发牢骚也就罢了。你身为执掌文衡的朝廷命官，听信这样的话就大不应该了。你没看见聚奎堂前门柱上有前相国熊赐履题写的楹联吗：
‘赫赫科条，袖里长存惟白简；明明案牍，帘前何处有朱衣’？”
朱衣人的典故出自宋朝。据说欧阳修每次科考判卷时，总觉得有一个穿红衣服的人在座后点头，然后所阅文卷定被取中。
起初欧阳修以为是属吏，回头看时，却一无所见。这件事传开，都以朱衣人为神灵。故欧阳修有诗句云：