很多人一定会说，杰斐逊在有着6个兄弟姐妹的家庭中，受到父亲的器重和鼓励，在家中必然是十分受宠的，是最有希望的继承人，受尽家人和朋友，还有许多奴隶特别的优待，这样才合乎他当时的地位，这样他以后才能够有能力当上总统。

但是，事实并非如此。杰斐逊的童年并不像许多人想象的那么简单。杰斐逊自己所记得的第一件事，就是在一个河边，有一队奴隶，一个骑马的奴隶抱着他，然后这一队人便起身走向河的下游，走向了吐卡霍。

前面我们也说过，威廉·伦道夫曾经给了杰斐逊的父亲一片土地，让他建造夏洛茨维尔那个家，后来威廉·伦道夫一直都是杰斐逊家的朋友。威廉·伦道夫的妻子在1742年之前就已经去世了，留下了两个女儿和一个儿子。由于威廉·伦道夫自己总是疾病缠身，就邀请杰斐逊的父亲和其他人一起协助管理他的产业，并请求杰斐逊的父亲，如果他什么时候去世，请他全家搬迁到威廉·伦道夫的家里来，请杰斐逊的父亲将两家的子女合在一起抚养，杰斐逊的父亲很爽快地答应了。不久，威廉·伦道夫就病逝了。于是，杰斐逊的父亲按照之前与威廉·伦道夫的约定，于1745年，全家日夜兼程地走了大约80英里，搬到了吐卡霍。杰斐逊说自己所记得的第一次骑马过河去往吐卡霍，就是指的这件事。

这次搬家，杰斐逊除了感到疲惫与苦恼，还有其他的事情让杰斐逊印象深刻。

来到了吐卡霍，杰斐逊住进了十分陌生的房子，那里还有一个9岁和一个7岁的女孩子，还有一个名叫托马斯的4岁男孩。这几个孩子已经有自我意识了，知道为了保护自己而去欺负弱小。搬到吐卡霍之后，杰斐逊突然由家中的长子变成了最幼小的，这样的情况一直持续了7年。杰斐逊在回忆威廉·伦道夫家的托马斯时说，自从五六岁以来，他们便像兄弟一样亲密，也像兄弟一样团结。但事实是，在二人长大成人之后他们便相互敌视与攻击，并且曾经因为财产的问题发生过争议。在吐卡霍，杰斐逊虽受尽威廉·伦道夫家的男孩托马斯的欺负，却也经常得到姐姐玛丽的保护与鼓舞。不过在众多的姐妹里，杰斐逊最喜欢的是简，二人的姐弟情谊十分深厚。

搬到吐卡霍一年之后，杰斐逊的母亲又给自己添了一个小妹妹玛莎。不过，杰斐逊在吐卡霍发现，在那里，很多东西的所有权界限分明，威廉·伦道夫家的房屋远远比他在夏洛茨维尔的家大得多，也宽敞得多，而且威廉·伦道夫的家可以让两家的孩子晚上分开就寝，但是，这却是清清楚楚的属于威廉·伦道夫家的，而这一点，威廉·伦道夫家的孩子也已经明明白白地向“入侵”的杰斐逊家声明过了。所以，在以后杰斐逊所有的信件里面，每当他回忆起在吐卡霍的日子，都表现出寄人篱下的痛苦，以及时时刻刻想念着马上回到自己家的情感。

在吐卡霍这个地方，有一百多个奴隶，杰斐逊是白人家庭里的一分子，这个家就由他父母去掌控。而同时，杰斐逊也是一个更大的黑人家庭中的一分子，而那个家庭就由为数不多的白人管治着。直到杰斐逊9岁的时候，他所在的地方，黑人与白人的比例最少也都是十比一。杰斐逊当然也会和那些男男女女的黑人小孩在一起玩。吐卡霍这个地方是靠着十分严谨的规则维持着的，这其中难免会发生白人歧视黑人的事情。

在杰斐逊5岁的时候，附近奥兰治郡的一个农场，有个叫夏娃的女奴隶被人指控说她谋害了自己的生母，然后被绑在柱子上活活烧死了。但这并不是私刑，只是警长执行当地法庭的命令而已。

在吐卡霍的孩子们完全不用经过特别的教导，他们自己就能感觉到，黑人与白人之间有着十分微妙的阶级权力的差异。所以，杰斐逊很早就明白了，不管是大人还是小孩，白人总是统治着黑人的。而且，杰斐逊同时还发现了一个关于白人小孩与黑人小孩之间的差异，那就是只有白人小孩才能去学校学习。

杰斐逊5岁的时候，父亲就让他到院子的小屋里，和比他大的孩子们一起读书学习，那是一个家庭教师开的一所英文学校。最初，杰斐逊很不喜欢这样的所谓的学校。有一天，杰斐逊悄悄从学校溜了出来，藏在一间房的后边，祈祷学校能够早点倒闭。

不知道杰斐逊是从什么时候开始就感觉到黑人小孩不能和白人小孩一起上学是不公平的。在杰斐逊长大之后，他在《弗吉尼亚纪事》里提出了一套让很多社会上层人士都觉得又惊异又愤怒的看法。他说，为什么黑人就没有接受教育的权利呢？其实所有黑人青年都应接受很多方面的教育和辅助。他呼吁，黑人男子在21岁，女子在18岁之前，都应该接受教育，而教育的费用应该由公家负担。

虽然对黑人的不公平待遇感到很愤怒，但是杰斐逊在为种族之间的不平鸣冤的时候，却又感觉黑人与白人不能够共同相处，应该将他们隔离。这么看来，杰斐逊对黑人的态度是很矛盾的。

我们举个例子来说，杰斐逊既建议黑人接受教育，同时又建议黑人殖民。杰斐逊说：“当黑奴接受过教育，得到真正意义上的解放之后，应该视当时的情况，把他们派往适合他们的地方，让他们接受更深一层的实践教育，让这些人能够成为真正的独立自主的人。在这其中，我们应该全力去支持和鼓励他们，让他们能够强大到有能力保护自己。”

当然，杰斐逊在创作《弗吉尼亚纪事》的时候，对于自己提的这种用国家的钱资助、鼓励和殖民黑人的建议，并不是凭空想象的。杰斐逊考虑到，在进行独立革命的时候，有很多的奴隶逃到了英国，并希望自己能够真正获得自由。同时，在英国的土地上，还有从美洲撤出的两万名奴隶。但是不管怎么样，杰斐逊的这种建议，即使在他当时的年代，也让人觉得是天方夜谭。由于从小，尤其是在吐卡霍的日子，看到过太多黑人被歧视的现象，杰斐逊也承认，不管是曾经保护过他的成年奴隶，还是曾经与他玩耍的黑人小孩，他们所承受的，都是不平等与残酷虐待的痛苦。

杰斐逊的父亲给家里的每个孩子都留了一个服侍自己的奴隶，因此，杰斐逊在14岁的时候就有了一个专门服侍他的男仆。直到杰斐逊去世，他都只有这一个私人奴仆。即使是这样，杰斐逊对这些奴仆的情感和依赖仍是不可替代的。杰斐逊与他们之间永远存在着一种类似亲人般的羁绊。