1794年1月，杰斐逊卸甲归田，在蒙特沙罗过上了隐居生活，直到1797年的2月他才离开此地赶往费城去担任副总统，这三年的时光，是杰斐逊一生中最让人捉摸不透的一段时期，很多人认为杰斐逊实在是太累了，而且一直都向往田园生活，但是更有人觉得他只是在耍噱头，故意装出来的。

在这三年之中，萨莉·赫明斯在1795年的10月5日和1796年生了两个女儿。杰斐逊确实在这段时间里把政治完完全全放下了，他隐居后不久就不再订阅报纸，而且对外的通信也大大减少了。杰斐逊觉得田园的生活幽静而又甜美，让人心旷神怡，备感舒适，他的身体也一直处在很健康的状态，而且在权力感上也感到十分满意。在蒙特沙罗，他就是主宰，而且没有任何对手跟他争夺权力，家里的亲人和奴隶们也总会把关爱和崇敬倾注在他一个人身上。

在他刚刚退隐的时候，女儿玛莎和丈夫由于忙于家里的事情只是偶尔会来，朋友们也只在夏天的时候才会过来聚会，所以杰斐逊多半的时间都是跟他的一百多名的黑奴一起生活的。1794年，好友麦迪逊结婚了，在第二年的春天他带着妻子到蒙特沙罗来拜访杰斐逊，这让他十分欣喜和欣慰。

在杰斐逊归隐的第一年中，他辛勤地在农田工作。为了恢复土壤的肥沃度，杰斐逊设计了一套精密的轮作方法。他建造了一个小型的钉子工厂，年轻的奴隶们每天可以生产一万枚钉子，这给他带来了大量的他所需要的钱。不过后来却碰上来自英国的廉价钉子到美国大量倾销，夺走了他的市场。而在这一年，杰斐逊的《园艺簿》又开始记载了。杰斐逊计划着把自己的1500英亩的粗地，变成修整有序的英国乡村风景。

1795年，杰斐逊收到了两封玛丽亚的来信，这让杰斐逊觉得很意外。不过信中她也没有提什么特别的，只说自己已经回到了英国。后来杰斐逊过了六个多月才回信，说他现在已经完完全全成为了田园的农夫，并说他此时的生活就像伊甸园里的生活。

后来杰斐逊才知道，田里的损失其实根本算不上什么，相比家中的爱与平静的流失，简直就不值一提。玛莎的丈夫伦道夫突然变得很暴躁，而且还经常发脾气。那是1794年的8月，女儿玛莎的丈夫伦道夫不知怎么就患上了一种很奇特的病，他开始不停地去看医生，先是远到波士顿去看，后来又走遍了弗吉尼亚境内的每个角落，还是不见好。杰斐逊知道女婿患的是精神上的病症，但是他又不忍心告诉女儿。伦道夫的很多朋友也都说他是个怪才，是个狂想者，是丰富而荒诞的想象下的牺牲品，而与占有欲极强的亲人一起住，更会加剧他的病情。有一次伦道夫很坦白地告诉杰斐逊说，住在蒙特沙罗使他觉得像寓言里的傻鸟，无法在天鹅群中感到自在。而玛莎总会认为对父亲的爱大于任何情感，这更让她的丈夫越来越觉得自己无能。后来，伦道夫的病情严重了，他们的两个孩子就搬到杰斐逊这边和他一起住，杰斐逊的女儿波丽也帮忙照顾她们。

在这里，虽然杰斐逊总是向亲朋好友说自己的精神愉快，备感轻松，但是他心里却越来越觉得很不舒坦，而且总是闷闷不乐。杰斐逊发现他远离社会人群时间越长，那种逆反社会、仇恨人类的心理就越来越严重。

1795年的夏季，蒙特沙罗一下子没有之前的欢快，整个房子都快成了医院了。因为过来看他的女儿、姐姐、奴隶都病倒了。更让他十分愁闷的是原先的7500元债务，到了1795年又增加了1000元。这债原来是岳父的，本来已经付给了“弗吉尼亚土地处”，不料1796年3月19日，最高法院的法官却判决，凡是付给“土地处”的债务必须再付一次。

有一次，政坛好友麦迪逊提醒杰斐逊，共和党一定还会提名他继承华盛顿的时候，他写了一封长而严肃的信，说麦迪逊自己应该做候选人才对。事实上杰斐逊虽然痛恨政治，但是仍旧热爱着政治。在他心灵深处所感觉到的不是解放，无拘无束或宁静安详，却是个上了锁链的巨人。

1796年，杰斐逊开始了很久之前就计划好的改建蒙特沙罗的房屋工程。新的房屋有着八角形的屋顶，是根据巴黎的那个大谷物市场的圆顶的原理而建造的。杰斐逊之所以改建，最大原因是想增加新的卧室，好让女儿、外孙们夏天来度假的时候有足够的地方住。不过，蒙特沙罗的改建，也象征着他政治兴趣的复苏，与重返政坛的准备。

1796年6月，著名的法国学者华尼伯爵来到蒙特沙罗来拜访杰斐逊，并和杰斐逊一起参观了他的农田还有房屋。1793年，杰斐逊曾经给了萨莉的哥哥詹姆斯·赫明斯一个书面的承诺，答应他只要教会了蒙特沙罗的奴隶做法国菜，就可以让他获得自由。结果哥哥在1796年2月5日得到自由，杰斐逊给了他30元当盘缠，詹姆斯·赫明斯也就高高兴兴地走了。

1797年的弗吉尼亚，由革命而点燃的那种解放的热情，在此时已经慢慢冷却，后来消失得找不到踪迹了，就算仍然有一些小的残留，也因为后来出现了黑人大肆屠杀白人的事件而摧毁殆尽了。1797年夏天，弗吉尼亚州和整个南方都感到很危险，害怕黑人会揭竿而起，造成动乱。杰斐逊的好友圣乔治·塔克这时送给杰斐逊反奴隶制度的小册子，并且警告说，如果不迅速解放黑奴，很可能会造成黑人与白人的冲突。杰斐逊同意他的看法，认为只要有一点小的**，就可能引发大乱。

杰斐逊对于与萨莉·赫明斯的关系此时还是很隐秘，在《农事录》上，她总是隐名的，虽然杰斐逊在奴隶的鱼、肉、毯子、麻布的分配表上，曾经多次提到她，却没有姓。他之所以刻意略去了他们母子的名姓，是出于自然的反应，不愿在书面的记载上承认他们对他是重要的。杰斐逊之所以没有释放萨莉，而萨莉也没有提出请求，是因为放了她就等于失去了她，而萨莉也失去了他，主人虽可与奴隶之间发生爱情而不受社会大众的指责，但与一个自由之身的黑人谈情说爱就全然不同了。因此萨莉如果要求释放，那就意味着，或者像哥哥詹姆斯一样离开杰斐逊，或者准备看着杰斐逊的名誉毁于一旦。这样的矛盾让他十分沮丧，尤其是当玛莎和萨莉两人先后死了孩子的时候。在蒙特沙罗的人，没有人不知萨莉掌管着杰斐逊的卧室和衣橱，而玛莎也从不在杰斐逊的卧室最里面的居室里生活，因为那里是杰斐逊隐秘的地方。

1797年12月4日杰斐逊重回费城的时候，萨莉又有了身孕，而且她的孩子也生着病。没过几天，两岁的女儿夭亡了，这使得杰斐逊悲痛不已。

杰斐逊的女儿波丽到1796年已经17岁了，长得十分美丽，虽然追求的人很多，最后她却嫁给杰斐逊不是很欣赏的表哥杰克·埃普斯。婚礼在1797年10月13日，在蒙特沙罗安静地举行，杰斐逊送给新人26个奴隶，若干头马、牛和猪，以及靠近蒙特沙罗附近的大约123英亩的土地。后来，杰斐逊和女儿波丽之间也有信件来往，不过却缺少他和玛莎之间的那种亲密。

1796年12月到1801年2月之间，杰斐逊重返政坛，担任副总统的职务，但是由于当时的政事不是很烦琐，所以杰斐逊在费城只生活了21个月，其余的27个月都是在蒙特沙罗的家中度过的。