张居正借张佳胤一事留住了一些旧臣的心，而这些旧臣也逐渐开始效力于张居正。但是对于曾经高拱手下负责监察的那些官员来说，就没有那么好命了。当时负责监察的是六科给事中以及都察院御史，他们主要负责监督各个部门的工作，一旦发现有违反条例的人便立即上疏弹劾。

当时朝廷之中，很多官员都将心思用在如何揭发同僚上了，经常出现你弹劾我，然后我再搜集证据弹劾你的情况。张居正虽然地位十分稳固，但是他也很清楚，言官的存在是一个很大的弊端，但是这种由祖宗传下来的制度他又无法取消。

在张居正看来，大部分言官在朝中都十分嚣张，除了弹劾别人或者议论朝政，其他什么事都不会做。他们不但没有为国家作出任何贡献，反而还一次次地拖国家的后腿。由此可见，张居正对这些言官非常反感。于是，张居正下定决心要彻底地整顿言官一番。因此，张居正在上台之后便开始对官员进行考察，也就是“京察”。以前“京察”是每三年才进行一次，张居正提前举行“京察”，是想趁这个机会撤掉一些言官的职位，而被撤职的言官大部分都曾经是高拱的门生。

这次整顿，使很多人都认为张居正是借机对某些官员进行报复。而实际上，站在朝廷的角度上来看，张居正的做法是有利而无害的。

首先，当时朝廷中的局势非常混乱。虽然言官的品级非常低，但是言官这个职位却非常重要。因此，很多官员都想拉拢一些言官作为自己的心腹；同时这些言官为了能一步青云，因此也愿意依附于品级较高的官员。如此一来，朝廷中就形成了十分明显的派别现象。

而高拱手下的那些言官与张佳胤等人是不同的，因为那些言官在高拱下台后所表明的立场十分明确，那就是绝不会依附于张居正。因此，张居正下定决心要清除这些潜藏的威胁。

其次，张居正进行的这次朝政清理不仅仅是针对高拱的旧臣，一些经常争强好斗的官员也被撤了职。张居正曾经说过，那些经常议论朝政和那些经常与同僚争论的大臣，对整个朝廷来说，是有害而无利的，甚至会扰乱朝政。

其实，张居正的这些做法也是迫不得已。因为一旦开始施行改革，这些大臣就极有可能会成为挡道石。而改革最需要的便是意见统一。不仅如此，为了让官员们一心做事，不受言官干扰，张居正在上台后还大肆裁减合并了一些书院，而这也使他背负了专制的名声。

其实，张居正的这些做法完全是为国家考虑的。他想为那些工作兢兢业业并为朝廷效命的人创造一个良好的环境。

在张居正担任首辅大臣后，他的同乡和校友都联系他，希望能得到一官半职。这其中有一个叫汪伯昆的人，他是张居正读书时的同学。汪伯昆与另外一位叫王士祯的人并称为诗坛两大领袖。当时汪伯昆在湖北做巡抚，在听说张居正当上首辅后便写信，意思是想通过张居正能调往京去工作。张居正收到信再三考虑后，认为汪伯昆是个有能力的人，而且资历也比较老，于是他就将汪伯昆调来京城担任兵部左侍郎。

汪伯昆上任之后，张居正为了考验他的能力，便给他安排一项任务，那就是到西北各地区考察军事设施。汪伯昆先到蓟辽，当时蓟辽的总兵是戚继光。当他到蓟辽后，首先做的不是听当地官员汇报，也不是探讨任何关于军事方面的问题，而是召集当地的文人进行吟诗作赋。

张居正得知此事后，十分愤怒。在汪伯昆回到京城之后，写了一封奏疏给皇上。奏疏中汪伯昆汇报了他巡察西北地区的军事情况和结果。张居正在看完奏疏之后，直接批复了八个字：“芝兰挡道，不得不除”。其中的含意就是，你汪伯昆是出名的诗人，但是兵部是国家军事的重要部门，不是用以吟诗作赋的地方。最后，汪伯昆因此被撤了职。