张居正于嘉靖四年（1525年）五月初三在荆州府江陵县出生，而他的祖籍却并不是在这里。张居正的家谱十分简单，只能向上推算到元末。张居正在他回忆父亲的一篇文章里记载，张家族谱上的远祖是张居正的七世祖，名为张关保。张关保是南宋抗金名将张浚的后人，家住凤阳府定远县，就是现在的滁州。张关保与明太祖朱元璋是同乡，与明朝的开国名将李善长也是同乡。在元朝末年张关保加入了红巾军的队伍，和乡亲们一起造反。在这期间，张关保一直追随朱元璋打天下。

据张居正的记载，张关保是一个非常忠厚老实的人，一直踏踏实实地做一名小兵，以至于在徐达以及汤和做了开国元勋后的很长一段时间内，张关保还一直是徐达麾下的小兵。后来，张关保在一次战役中立下了军功并得到了封赏。那是在一次渡江战役中，徐达及其麾下成员的目的是要占领采石矶，在攻占的过程中，张关保非常英勇，率先冲入敌阵勇猛杀敌，最后成功地占领了采石矶。战役结束后，张关保得到了封赏。在后来的战役中，他又屡屡立功，受到了非常多的封赏。张居正在《先考观澜公行略》中也为张太保的功绩感到自豪。张居正说：“张关保，国初以军功授归州安御千户。”就这样，张关保因军功而被授予了军职并分配到了荆州府的归州，也就是现在的湖北秭归。

当时的明朝实行军分区的军事制度，和现在的军分区是一个性质，就是在各府的要地设立卫，而卫就是指整个的一个军分区。卫下设立五个千户，每个千户直接管辖一千二百多人。由此看来，当时的地方军事将领的势力非常大。另外，那个时候千户是一种世袭的荣耀，可以代代相传。而张关保的千户荣耀只传到了后辈第四代，到了张居正那一代便更无缘了。

张关保的儿子叫张唐，张唐有两个儿子，长子名为张旺，次子名为张诚（张居正的曾祖父）。按照传统只有长子才能继承千户，如果没有出现特殊的情况，次子不能继承千户。张诚意识到了这一点，所以他早早地就从归州搬到了江陵自己谋生路，李白诗句中的“千里江陵一日还”中的“江陵”就是这个地方。

张诚迁往江陵不久就成家立业了。一开始他的生活十分简朴，随着他的努力，日子越过越好，家庭也逐渐成了一个小康之家。但可惜的是，张诚与荣耀无缘，他认为自己不能光宗耀祖，所以把希望都寄托在了孩子身上。张诚有三个儿子，长子名为张钺，次子名为张镇，第三子名为张。张诚三个儿子的名字都带有金字旁，也都和青铜器有关，因为青铜器是国之重器。但是让他失望的是，三个儿子都没有什么大的作为，他的一腔热血也被浇灭。张诚的长子张钺经商，第三子张也能勉强维持生计。唯独次子张镇（张居正的祖父）每天吊儿郎当过日子，没人愿意与他交往。张诚反而最喜欢张镇，对张镇非常溺爱。有了父亲的溺爱，张镇变得更加游手好闲，结交了一群不学无术的狐朋狗友。但是张镇也有优点，传闻他非常讲义气，为人也比较豪爽，有大侠的风范。后来张居正在执政那段时间里也颇有他爷爷当年飞扬跋扈的风范。

张镇只顾着自己玩乐，一直没有正式的生计。在他刚刚成家的时候，日子十分拮据，但幸运的是，他谋到了一个好差事，就是到江陵的辽王府内做侍卫。由于儿子的种种表现，张诚知道自己的梦想是没有办法实现了，因此又将希望寄托在下一代身上。

后来，张镇也有了儿子，就是张居正的父亲张文明。这个名字是张诚起的，其含义就是文治武功、公卿名相。张诚希望孙子将来能通过科举来光宗耀祖、出人头地。被祖父寄予厚望的张文明一直刻苦读书，但是他似乎与荣耀无缘——他参加了七次科举考试，每一次都以落榜告终。张文明有四个儿子，长子是张居正，直到张居正考中进士，张文明也没有考中举人。最终，张文明放弃了科举考试，一心栽培儿子。