高拱被任命为辅臣时，世宗已重病。在西苑当值，日夜都不能回家。高拱颇不习惯。这位五十多岁的河南汉子颇为恋家，皆因他结婚三十余年，老婆只给他生了两个女儿。在“不孝有三，无后为大”的明朝，这是一件很难堪的事情。高拱在朋友们的撮合下娶回小妾，巴心巴肺想生下一个儿子，如今置身西苑，有家归不得，是何等的挠心。为了方便与小妾的相处，他决定把家从市内搬到西苑旁边，这样，他就可以偶尔抽空回家。

这种事怎瞒得过老狐狸徐阶，他看在眼里，嘴上不说什么，心里头却有想法。有一天，世宗突然病重，高拱听了太监的话，认为世宗过不了今夜，于是立即跑进值房，将属于自己的私人物件悉数搬回家去。这一点，更令徐阶心中生厌，他认为高拱私心太重，缺乏和衷共济的大臣风范。所以，在世宗驾崩后，他起草遗诏不与高拱商量，而找来得意门生张居正密议。

但是，就因为这件事情，高拱全然不顾徐阶对他的提携之恩，而与他反目成仇。世宗驾崩，裕王登基成为穆宗皇帝后，高拱自恃是裕邸旧臣，更不把徐阶放在眼里，处处与之作对。徐阶毕竟经营多年，高拱的势力无法与他抗衡，在一帮忠于徐阶的言官的交相弹劾下，高拱无法抵挡，只好下野。

穆宗宣布高拱致仕的时间是隆庆元年（1567）的五月二十三日。一年以后，即隆庆二年的五月十九日，首辅徐阶宣布退休。

还在裕邸的时候，穆宗就养成了好酒好色的习惯，登基之后，一如往昔不加节制。徐阶直言规劝，穆宗虽然采纳，但也慢慢对徐阶采取疏远的态度。恰逢此时，徐阶遭到给事中张齐的弹劾，于是坚决要求退休返乡，穆宗同意。

人们谈论明朝的政治，常常津津乐道“小官管大官”这一条。这实际上指的是明朝的言官制度。言官即今天的纪检、监察干部，由都察院与六科两个衙门管辖。都察院系统的言官叫御史，六科系统的言官叫给事中。御史的总领导叫都御史，六科的总领导叫都给事中。都察院给全国各省配备纪检监察干部，级别与六部相同，属正二品衙门。六科专门针对六部而设置，如吏科监督吏部，户科监督户部等等。六科有六个都给事中，官阶只有六品，给事中官阶只有七品，但享受四品的待遇。在明代，内阁辅臣与部院大臣的下台，多与御史和给事中有关系。这些言官级别虽低，但握有弹劾大权。因此，大臣们很忌惮这些级别低微的小官。

明朝初期，言官们都在真正行使监察之责。中期之后，言官逐步演变为权力斗争的工具。某位政要为了排除异己而嗾使自己控制的言官对他人弹劾，最终让对手倒台。

言官们的这种政治作用，在嘉靖一朝之前，并不明显，甚至在严嵩时期，言官们还是朝廷合格的纪检监察干部。他们的演变并最终成为党同伐异的工具，可以说是从徐阶与高拱手上开始。在这一点上，两人负有不可推卸的责任，特别是高拱，在他执政期间，一直没有放松对言官的操纵。

徐阶致仕之后，李春芳接任首辅，但他是一个好好先生。几位辅臣如陈以勤、张居正、赵贞吉、殷士儋等，都是各捏各的笛，各打各的鼓，谁也不服谁。面对这种“群龙无首”的局面，穆宗决定召回高拱。

高拱下野一年半之后，于隆庆三年（1569）腊月二十二日重回内阁，而且，一来就越过李春芳直接担任首辅。