从1781年6月杰斐逊逃难到卡特山到这一年的9月底，这四个月的时间里，杰斐逊已经着手著作一本书，书名为《弗吉尼亚纪事》。1955年，威廉·皮登把这本书加以注解出版了，并评价这本书可能是1785年以前一本最重要的科学和政治方面的书籍，是美国最早的不朽著作与智慧结晶的里程碑之一。

在这四个月里，妻子玛莎再度怀孕了，所以杰斐逊在整整九个月的时间内，除了到里士满的弗吉尼亚议会为自己的名誉辩护而离开妻子两星期之外，其他时间都一步不离地陪伴着她。

在白杨林的前几个星期之中，杰斐逊开始回答法朗沙·得·巴贝·马巴有关弗吉尼亚情形的21个问题。就为了这个，他在1780年的11月就开始收集资料。这些回答后来形成了一篇篇的短文，所写的细枝末节又扩展成为章节，到最后他所写的东西变成了一本书，它不再仅是《弗吉尼亚纪事》了，它同时也是《托马斯·杰斐逊纪事》。杰斐逊在这本书中记述的有彊界、河流、海港、人口、矿产、蔬菜以及动物等，并且他还进一步讨论了教士的专横、公众教育的必要、黑人的本质、印第安人的源起，以及他们复杂的语言结构，甚至包括了弗吉尼亚的建筑等主题。他认为弗吉尼亚与美国息息相关，它的社会和政治期望就是全美国的社会、政治期望，更重要的是杰斐逊此刻已经把自己和弗吉尼亚合为一体，并与它荣辱与共了。

杰斐逊在写这部书的时候，尽可能让它变得精确万分，尽可能表现出自己的学识渊博与深谋远虑，但是此书中也包括很多自己的怨叹和愤怒，个人主见十分鲜明而突出，所以杰斐逊当初并没有打算出版。

1781年12月20日，杰斐逊送给了朋友一本，并形容这部书一点也不完美，除了证明对朋友的尊重之外，一无是处。但1785年在巴黎时，由于朋友一再鼓励，杰斐逊终于答应出书，但是这本经过了修正、补充的书，也只不过出了两百本而已，杰斐逊还拒绝在书上印上自己的名字，怕因为此书而引起议会和其他领导人物甚至国人的不愉快，他只是从巴黎秘密地给在美国的朋友寄过几本，其余的都烧掉了。一个人要烧毁自己的著作，一定是对它的内容感到十分矛盾和犹疑。杰斐逊不只是对自己所写的东西的价值不确定，他同时也害怕他所论述的关于宗教和奴隶的问题会引起强烈的反应。1785年，为了防止法国出版商的盗印，他同意翻译成法文出版，并只许在书上印上自己名字的缩写。等到印刷完毕之后，他越来越觉得如果《纪事》一旦在法国出版，难免会被翻译回英文在英国和美国出版，那倒不如以原来的面目示人。因此，他与伦敦的约翰·史多得订下和约，让他在英国出书，并且首次把名字印在书上。

杰斐逊的这本《纪事》，类似于旅行指南类型的书籍，但是其中可以看出作者的心思缜密，深谋远虑。这部书刚开始，像测量家那样平静地勘定自己那一州的界线，可是，不久他就冲出了弗吉尼亚的界线范畴之外，描述的范围逐步扩大，扩大到西边，后来到圣塔菲。该书在记叙河流的时候，杰斐逊的心情貌似显得十分兴奋与欢快……《纪事》这部书里面所写的许多事情都是有着辩证性质的，频频出现大小的对比。摊开这本书的时候，很多人会发现他不只写的是弗吉尼亚的过去，而且也写下了它必然的将来。

杰斐逊在《纪事》里有一些思想是很矛盾的。他在该书中对购养黑奴的陋习和黑人的天性以及他们遭受白人虐待的情况等所发表的意见，是人们争论最多的地方。因为不管作家们的政治立场怎样，对种族的态度又是如何，应该都有一个统一的观点。但是在这部书中，可以找到他赞同解放黑奴的字句，也可以找到他所不赞同完全解放黑奴的语言。

杰斐逊虽然是大力倡议解放黑奴，但是他的实际行动少之又少，不像宾夕法尼亚州勇敢地成为通过解放立法的第一个州。杰斐逊凭着自己的聪明睿智，当然已经觉察出自己生活中理论与行动的相互矛盾。因此，他确信上帝一定是站在黑奴这一边的。杰斐逊激动地说：“当我想到上帝是公正的时候，就不禁为我的国家战栗不止，因为他的公正是永远不会沉睡不醒的……彼此情况的互换，是很可能的事，它可能由于超自然力的干预而变成真实！”

1781年11月，弗吉尼亚议会开会，选举杰斐逊为大陆议会的代表，由于他的政敌派帕特里克·亨利的怂恿，对杰斐逊担任总督时期所作所为的调查不可小视，因此议会对这事特别举行了听证。杰斐逊顿时觉得在精神上受到了极大打击。同一年12月17日，议会选出约克镇战役的四位英雄：华盛顿、罗尚博、德格拉斯和拉法耶特，议会向他们忠心地表示感激。

杰斐逊政界的好友们觉得这次调查，一定是杰斐逊的政敌故意借理由整治他，因此特别又在12月19日的时候设法让议会增选他为英雄人物，也对他表示感激信任之意。但是后来议决又经过议会很长时间的争论，而且也没有得出结果。杰斐逊知道消息之后，立即辞去了议会的职务，而且婉拒出任大陆议会代表，并表示将永远离开政坛。

于是，杰斐逊又过上了归隐蒙特沙罗的生活，他在《农事录》里面也愉快地记下了许多事情。有一段时候，杰斐逊还让守寡并且带着六个孩子的姐姐玛莎到家里来住，其中两个外甥女已经到了适婚年龄，花费是很大的。他同时还收养了她的长子彼得·卡尔。彼得是个英俊、有前途的青年，杰斐逊亲自督导他的教育，并将他视为己出。

但是，时间一长，离开了政坛的杰斐逊，又感到孤独且寂寞。后来，有一位少将在1782年4月里到蒙特沙罗来拜访杰斐逊，杰斐逊殷勤地招待了他，并邀请他住上几天再走。