杰斐逊在总统的任期之内，遇上了很多人的死亡。卡伦德的死确实让他长长地舒了一口气，但是他的一些老朋友，比如塞缪尔·亚当斯、埃德蒙·彭德尔顿等也都相继去世了。而在杰斐逊竞选总统的前几个月时间，跟他同岁而且一直是如影随形的服侍着他的老奴也去世了。

1801年里的一段时间，杰斐逊突然患上了赤痢，他原本以为自己也要死了，就对自己的病守口如瓶，后来他坚持每天骑马两小时锻炼身体，竟然痊愈了。

1804年年间，杰斐逊的二妹玛丽在1月去世，随后他的爱女波丽在4月也不幸去世。7月里，艾伦·伯尔在决斗场一枪打死了亚历山大·汉密尔顿。1806年，乔治·威思被心狠手辣的侄孙用砒霜毒死了。1809年，赶往太平洋岸探测而成英雄人物的梅里韦瑟·刘易斯，在一次自杀事件中也去世了。

1802年，杰斐逊的女儿玛莎和波丽的丈夫同时都被选入国会，杰斐逊坚持让他们住进总统府，像对待自己的儿子一样。杰斐逊对两个人所表现出来的敬爱也是十分满意的。杰斐逊以内举不避亲的胸怀，竭尽所能地协助他们两人发展事业，并以谨小慎微的方式对待两人，与他们经常讨论政治方面的问题。杰斐逊更喜欢埃普斯多一点，因为他秉性开朗活泼，而郁郁寡欢的伦道夫，时不时地要使几下他的坏点子。

1804年2月15日，波丽生下一名女婴，也取名叫玛莎。女儿虽然日益成长，作为母亲的自己身体状况却每况愈下。当杰斐逊知道她的胸部长了脓疮并且呕吐不止的时候，他让她丈夫一定要从蒙特沙罗带回一些真醇的陈年雪利酒过去。他催促波丽的丈夫带她来蒙特沙罗过夏天。奴隶们做了个担架，非常小心地抬着这个年轻的母亲，走了很长的路，爬上了小山头。4月17日，杰斐逊的爱女波丽去世了，这时她才25岁。

1804年4月4日至5月11日，就在杰斐逊返家探视波丽病情期间，萨莉·赫明斯又怀了另一个孩子，并在1805年1月19日生下了一个儿子。

1804年7月11日，杰斐逊的副总统艾伦·伯尔决定和亚历山大·汉密尔顿来一场决斗。伯尔一枪射穿了汉密尔顿的肝脏和脊骨。汉密尔顿在中枪30小时之后死亡，这个消息立刻像炸了锅般地四处传开，惊动了全国。很多人都知道，决斗是违反纽约的法律的，无论是要求或是接受决斗，都算犯法，可以判处剥夺权利长达20年。更为嘲讽的是，汉密尔顿自己还曾经大力协助通过这项民事法律。汉密尔顿是在自己的事业、家庭都下滑的情况下接受伯尔的挑战的。两人是因为汉密尔顿揭发伯尔的疮疤而起的争执。这样伯尔的政治前途，随着汉密尔顿的死结束了。

1804年选举总统时，杰斐逊的竞选伙伴是乔治·克林顿，这个人又老又病，不是杰斐逊的对手，而且连麦迪逊的对手都当不成。本来，杰斐逊是打算要让麦迪逊继承自己衣钵的。但是这次选举，176张选票里，杰斐逊自己就赢得了162张。

杰斐逊从小接受的教养就是沉默胜于攻击，所谓病从口入祸从口出，汉密尔顿的嘴让自己送了命，更证明了沉默的价值，尤其是对于别人的恶意毁谤，保持缄默是很好的办法。杰斐逊对于决斗的事没有发表任何意见。

1806年6月4日，杰斐逊接到里士满友人的来信，说他的老师威思一家，在吃草莓喝咖啡的时候，被他的侄孙用砒霜毒害了。这“一家”指的是威思、他黑白混血的女奴，还有女奴的儿子迈可·布朗。威思在遗嘱中，把半数的银行存款给了迈可，并指定杰斐逊为执行人，负责这孩子的抚养、教育和其他事项。他还遗赠给杰斐逊两只银杯、自己的金头手杖，还有全部上好的藏书。迈可死了，他妈妈获救，威思自己在说出中毒真相之后去世了。威思公然地遗赠屋产给自己的混血管家，把银行积蓄给混血管家的黄皮肤儿子，又把他的教养托付给杰斐逊。这种举动明显是告诉整个美国，杰斐逊是孩子的父亲。弗吉尼亚的白人因此十分震惊，当时弗吉尼亚法律是不许黑人为白人作证的，威思侄孙的罪因此而开脱。

这件事情也是对杰斐逊的一种公开的警告。弗吉尼亚白人最痛恨的就是白人依法接纳承认自己的黄皮肤孩子了。如果杰斐逊曾经在什么时候想过，要让萨莉的孩子平等地享受权利，这件下毒的事情，就再度把他拉回现实当中。显而易见的是，如果想要使这些孩子能过上自由自在的生活，只有一种可行的方法，那就是想办法让他们受教育，并且让他们以白人的身份进入白人的社会。威思被毒害的时候，萨莉33岁，杰斐逊已经有63岁。他从此对萨莉一家就更缄默守秘了。

1805年间，前副总统伯尔因为决斗事件而不得不打算结束他的政坛生涯，但是他与英政府密谋，想发兵侵占华盛顿，刺杀杰斐逊。伯尔打算建立一个西部联盟，并且去往墨西哥，推翻西班牙人的统治，而后在那里称帝。但是，事情马上就败露了，杰斐逊在1806年11月27日发出通告，呼吁人民协助平乱，伯尔被捕入狱。但是经过审判之后，他竟然无罪释放了。

杰斐逊一直向往着和平。他灵巧地维持着党内的和平，并且巧妙处理了麦迪逊与门罗之间裂痕的扩大，更是避免了共和党一分为二。杰斐逊在总统任期之内，一直都是实行和平地购买与协商的政策，并且尽量避免与印第安人开战。杰斐逊不仅不以战争为战绩骄傲，同时他还不屈不挠地寻求其他的方式以达到政治和平的目的。对和平的期盼融入了杰斐逊的公开生活，对宁静的希望也走进了他的私人生活，而理智与冷静更是他做事的标准。

1802年，《亚眠和约》被废弃，杰斐逊从一开始就决定在法国与英国之间保持中立。他以前对法国的同情现在已经完全改变了。1804年，拿破仑加冕称帝，这让杰斐逊十分憎恶，觉得这是独裁统治。

1807年6月23日，美国开往地中海的战舰“切萨皮克号”，在汉普登码头外遇到英舰“豹号”的拦截，英舰要求上船搜索叛逃的英国水手，但是遭到拒绝，于是英船炮轰“切萨皮克号”。美国战舰在一时间没有还击的情况下，被击中了3炮，3人死亡，18人受伤，“切萨皮克号”只好投降，结果英军带走了1名英国的逃兵和3名美国人。

这时候，杰斐逊如果宣战，全国人民一定都会支持他，从独立革命的莱克星顿战役以来，全国从没有这样激动愤慨过了。杰斐逊命令英国战船远离美国的水域，并警告各州州长召集民兵，下令建造更多小型的、防御性的战船，并且马上召开国会，可是大会的日期却是在三个月之后。这一年的7月底，杰斐逊轻松愉快地返回了蒙特沙罗。

杰斐逊经常回家长住， 这早已经遭到非议，但是杰斐逊说自己在蒙特沙罗的工作要比在华盛顿还要努力。杰斐逊认为，宣战只会让英国的海军战舰开往美国海岸，他可没想让新奥尔良落到英军的手里。但是面临着英军日渐猖狂的劫夺行为，要想保持中立并不是一件容易的事。英国不仅加紧控制驶往法国的船只，而且延伸到美国。

1806年11月，英国通知所有美国的船只都要先到英国领取执照，否则在海上就可以成为他们劫掠的对象，即使是开往西印度群岛的船只，也适用这项通令。同时，英国增加棉花的税务，让美国蒙受了很大的损失。美国的船只不遵从通令的，没收充入英国海军，而美国的船员就被打入英国的地牢。法国的拿破仑也同时对英国港口宣布反封锁，同样延伸到了美国。于是杰斐逊的海员们就陷入两面受敌的境况中。

杰斐逊觉得，现在他只有三个选择了：战争、臣服纳贡，或者单方面的英、美货物的禁运。1808年，这时的杰斐逊是65岁，但是他的身心都没有老化，他从没有想过利用这种爆炸性的国际形势，让使自己在位长久一点，或是证明自己的雄劲威武。

1806年11月，杰斐逊再度巧妙地说服国会，通过一项禁运的法案，而不必宣战。他希望以这个方式，让海上的两万至三万的美国船员都回到家乡，让他们和2000艘船只还有8000万美元的船货一起受到国家的保护。其次，杰斐逊计划试行战时经济制裁，希望能够牵制住英国的经济，逼迫英国政府撤销颁布的通令。他希望以这种方式来避免人民卷入所谓的乱战之中。

禁运这种手段，不仅仅是威力强大的一个经济武器，也是从国际间退守孤立的重大保障。杰斐逊希望禁运之后，本国自己的制造品能够应运而生，用来取代英国的产品，这一项的确是做到了，从此国内的农产品达到了自给自足的状态。后来，全国其他行业也都转成小工厂的经营，全国得以坚定地独立着。这样可以避免不去蹚结盟缔约的浑水，而且美国要在经济与地理位置的孤立中继续顽强生存。当然，杰斐逊从开始知道要实施禁运，是要付出一定代价的，但是杰斐逊认为，暂时的劣境可以避免国人陷入更危险的情况，而事实证明他确实是对的。

禁运在1809年3月被废止，这时杰斐逊还没有离任。之后，除了英、法两国，所有的贸易重新开启，这样就使麦迪逊的新政府不用再为了什么去低声下气地讨价还价了。只是，麦迪逊不知道，当他颤抖着双手在国会里要求宣战的时候，英国政府已经向美国的这种“经济武器”投降，已经撤销了通令。但是当时通信科技没有这么发达，要不然就不会有战事的发生了。