进入内阁后，张居正并没有得意。这个时候的明朝非常混乱，土地兼并现象严重，流民四处逃散，朝中国库空虚。北方鞑靼经常骚扰中原，南方的土司也借机争夺权力，尤其是岑猛叛乱使“两江震骇”，东南部的倭寇又趁机作乱，骚扰东南沿海，民不聊生。
而让张居正最担心的是朝廷内阁中的内部矛盾以及斗争。嘉靖四十一年（1562年）严嵩被扳倒后，徐阶被任命为首辅大臣。从那时起，徐阶就和张居正一起起草世宗的遗诏。遗诏纠正了世宗时期的各种弊端，并为含冤而死的忠臣恢复了官职，这些做法都受到了朝廷与民间的广泛好评。
但是徐阶也不是十全十美的人，他也有失误的时候。在扳倒严嵩、自己当上辅政大臣之后，他极力提拔一些清廉的官员，其目的是改变嘉靖时期的腐败状况，可是徐阶的疏忽却引发了一场十分激烈的朝政矛盾。而这场政治矛盾不仅使徐阶断送了自己的仕途，甚至也将张居正推入了洪流。
嘉靖四十五年（1566年），裕王继位后，徐阶极力推荐高拱，于是高拱被任命为礼部尚书兼文渊阁大学士并进入内阁参与朝政。在穆宗面前，高拱十分圆滑，深得穆宗信任。在这种情况下，他渐渐地变得清高自负，对于那些不肯依附自己的大臣采取了打压的手段，很多官员都因被打压而辞官回乡，因此那个时候高拱得罪了很多人，其中包括徐阶。
高拱与徐阶之间的矛盾积累了很久。早在嘉靖年间，高拱就因为直言不讳得罪了徐阶。那个时候，世宗皇帝经常住在西苑，若要商讨朝政之事也只是差人传来一些大臣问话，而那些被传唤的大臣都会因此而骄傲。一天，世宗皇帝又一次传来大臣并对他们说：“现在很多大臣都在西苑务事，但是文渊阁却没人照看，应该有一个人长期照看文渊阁。”高拱听到后却对徐阶说道：“您年纪已经大了，因此您应该一直留守在文渊阁，一旦有事情我们会过来跟您汇报。”徐阶听到这些话后非常生气，因为很多比徐阶资历老的大臣都对他毕恭毕敬，只有高拱似乎不买账。
后来，高拱因中年无子而十分着急，便举家搬至西华门附近居住，只要有空闲便回家与妻妾们团圆。世宗皇帝病重时，高拱急忙将书籍等物品从宫内搬走，计划回府常住。群臣知道这件事情后议论纷纷，一位名叫胡应嘉的大臣上奏弹劾高拱，高拱因此心惊胆战。但是，世宗皇帝因为病情十分不稳定，所以没有精力处理高拱。高拱在高兴之余并没有善罢甘休，他认为，既然胡应嘉是徐阶的同乡，那么胡应嘉弹劾自己肯定是受徐阶指使，从这以后高拱便对徐阶怀恨在心。
嘉靖四十五年（1566年），世宗皇帝驾崩。张居正和徐阶受任起草遗诏，在起草遗诏的时候也没有和其他人商议。高拱认为自己是新皇帝最看重的大臣，然而张居正和徐阶起草遗诏的时候竟然没让自己参与，因此便更加憎恨徐阶。新皇帝穆宗即位后，作为元老级别的徐阶仍然位居首辅大臣之职，随后他便将自己的学生张居正推荐入内阁，高拱这个时候心里更加不平衡，所以经常以各种借口与徐阶对立。
隆庆元年（1567年），高拱以徐阶门生以及家属在城镇为非作歹为理由来打压徐阶，并且指使自己的门生齐康上奏弹劾徐阶。这个时候徐阶以退为进，自己上奏要求退休。当时朝中大部分大臣都十分拥戴徐阶，这些大臣集体上奏，要求徐阶继续留任辅政大臣一职，接着大臣们又集体上奏弹劾高拱。在三个月内，弹劾高拱的奏折竟然有三十多份，高拱知道后也是战战兢兢，连连上奏十二份奏折，请求告病回家。隆庆二年（1568年）七月，徐阶因年事已高被迫解甲归田。
徐阶走后的第二年，张居正与几位大臣一起上奏要求高拱复职。同年十二月，在家休整一年的高拱接到圣旨后，便直奔京城，任职内阁大学士兼掌吏部。高拱复职后，曾经参与弹劾他的一些大臣开始坐立不安。胡应嘉在听到高拱复职的消息后，由于惊吓过度而身亡。这时，高拱通过自己的门生广传言论，称：“华亭有旧恩，后小相失，不足为怨。”言辞中颇有大度之气。群臣听到高拱这样的表态后都暗暗地松了口气。
当时的内阁首辅大臣是一个叫李春芳的人，他清楚高拱的为人和野心，也了解高拱与穆宗皇帝特殊的关系。于是，为了避免惹上祸事，在高拱复职后，不久他便辞官了，并且把内阁首辅大臣的位置交给了高拱。高拱成为首辅大臣之后尽心尽力，在各方面的表现都非常突出。但是，高拱对曾经弹劾他的大臣并没有像他所说的那样手下留情，他回朝后的第一件事便是想办法报复徐阶。《明史·高拱传》中这样记载：“拱之再出，专与徐阶，所论皆欲以中阶，重其罪。”意思就是说高拱用各种方法设计陷害徐阶。
高拱任职内阁大臣后，开始对徐家进行报复。在隆庆五年（1571年）的七月，苏淞兵备副使蔡国熙借孙克弘一案整治徐府众人，徐家也在这次的整治中遭到了重创，徐阶的长子徐以及次子徐琨被充军，小儿子徐瑛被削籍贬为平民，而徐府的所有家产也全部充公。这时，徐阶得到弟弟徐陟去世的消息，让一向高傲的徐阶觉得生活如此难熬。于是，他不得不低头写信给高拱，希望他能给徐家留条生路。而高拱收到徐阶的信后并没有因此而手下留情，但是张居正却无法袖手旁观。徐阶是张居正人生中的恩师，并且在辞官前曾恳求张居正照顾他的几个儿子。张居正了解高拱的为人，知道他心胸狭窄，但是张居正仍然没有袖手旁观。张居正义正词严地说服了高拱，让他放过徐阶，不要再为难徐家。高拱与徐阶的多年斗争就这样落下了帷幕。