唐玄宗于天宝四载（745）纳杨太真为贵妃，深居宫中，怠于政事。加之唐玄宗信奉道教，且对他在位期间传入的密宗佛教展现出极大的兴趣，道教和密宗佛教都不鼓励唐玄宗积极过问国家事务，于是唐玄宗对朝政愈加疏远。

相继以李林甫和杨国忠为宰相。李林甫在其担任宰相一职的初期，因受到张九龄等人的牵制，朝廷还处于相对安定的状态。然而到了李林甫掌权的后期，他党同伐异，擅权跋扈。开元二十四年（736）补阙杜琎因上书言事，第二天就被贬黜为下邽令。此事之后，朝中无人再敢进谏。而牛仙客之死则使得局势发生巨大变化，代替牛仙客之职的李适之与李林甫展开了激烈的政治斗争。

李适之很快就与李林甫形成对峙之势，以李适之为领袖的贵族集团还包括：由于运输政策和财政方面的成就而深受玄宗赏识的韦坚；继李适之从742年至744年任幽州（范阳）节度使，然后担任户部尚书一职的裴宽；于743年至744年在浙江沿海肃清海盗后被任命为刑部尚书的裴敦复；在陇右与吐蕃作战中取得重大胜利的陇右节度使皇甫惟明。该集团的人员构成即表明了它在财政及防务方面具有的强大势力。

天宝三载（744），当时任吏部尚书的李林甫由于任人唯亲被任范阳和平卢两镇节度使的安禄山指控，于是唐玄宗亲自重新对应试士人进行考试，结果那个名列榜首的人交了白卷。此事以唐玄宗将吏部两个侍郎外放到地方而告终。至于李林甫，他未受到任何惩处，但是此事也无疑损害了他的威望。

从天宝三载起，李林甫开始沉重打击他的政敌。首先，李林甫挑起裴宽和裴敦复的不和，使得裴宽和裴敦复都被外放到地方。接着他向唐玄宗进谗以使李适之的名誉扫地，李林甫于天宝四载（745）煽起了对以李适之为首的刑部官员的严厉调查。天宝四载九月，他又将担任财政和运输等使职的韦坚调任为刑部尚书，并将韦坚的财政的职务转给当时与他关系密切的杨慎矜。此时的政治斗争仍然是按照不流血的政治方式进行的，然而当政治斗争进行到次年时，一场激烈的大清洗便开始了。

天宝五载（746）正月，时任陇右、河西节度使的皇甫惟明进京向皇帝报告与吐蕃作战取得的胜利，他在朝廷当着玄宗之面批评李林甫，赞扬韦坚。此事激怒了李林甫，由于皇甫惟明是太子的密友，而以有政治野心见称的韦坚又是太子的内兄。于是李林甫便唆使杨慎矜向唐玄宗报告，皇甫惟明和韦坚与太子一起策划发动政变以让太子提前登基。虽然此次密谋的真相模糊不清，但是对于唐玄宗而言，这是得到一个拥有14万精兵将领的支持而发动的政变，自然不可等闲视之。唐玄宗下令抓捕韦坚和皇甫惟明，但是由于该案件得不到证实，于是唐玄宗让他们离京出任刺史。太子在此事中未受影响。李适之也未受任何牵连，可是不论如何皇甫惟明与韦坚一事让李适之忧心忡忡，李适之集团受到了如此沉重的打击，他感到自己已无力与李林甫争斗。于是他要求辞去宰相一职，得到唐玄宗批准后并让他在东宫担任一个闲职，从此李适之不再参与政务。

接替李适之宰相之位的是精通道家学说的陈希烈。由于精通道家学说，陈希烈任宰相之职更是助长了唐玄宗对道教的兴趣。陈希烈为人柔弱圆通，无实际政治经验，只不过是在李林甫做出的决定上副署而已，对李林甫唯命是从。至此，李林甫成为了朝廷的绝对主宰者。

在皇甫惟明、韦坚离京出任刺史之后，韦坚的兄弟仍在朝中担任高级官员，于是他们代韦坚向唐玄宗求情，并恳请太子支持他们的请愿。唐玄宗对于韦坚及其同僚非常恼怒，再加上李林甫此时又指控韦坚和李适之结党。于是韦坚及其兄弟亲属均被放逐到边远的南方。李适之被调到地方，他们的其他支持者也被贬至地方。然而让李适之没想到的是，清洗至此仍未结束。李林甫又利用太子的良娣之父杜有邻与其女婿柳[img alt="" src="../Images/image190-1.jpg" /]发生口角一事，进一步打击了李适之集团的势力。臭名昭著的御史罗希奭被派往贬所处决韦坚、皇甫惟明及其追随者。李适之服毒自尽，他的一子被杀，许多同僚被贬。李适之集团中唯一幸免一死的裴宽也退出官场，委身宗教。至此，李适之集团在大清洗中彻底失败再也无力与李林甫抗衡。

此次清洗中，李林甫无疑取得了胜利，然而此时他的权力正面临着新的挑战。在此次清洗中，李林甫最忠实的支持者之一财政专家杨慎矜，由于不再受到强有力的对手韦坚的威胁，同时凭借其毫无限度地提供钱财以满足唐玄宗日益奢侈的需求，因而深得唐玄宗喜爱。杨慎矜势力的发展引起了李林甫的不满，两人的关系变得越来越紧张。此时杨慎矜与王[img alt="" src="../Images/image242-1.jpg" /]为敌，而李林甫却一贯公开支持王[img alt="" src="../Images/image242-1.jpg" /]。后来因杨慎矜求教于一术士，该术士预言会有政治动乱发生，并劝他在乡村购置产业以做避难之用。王[img alt="" src="../Images/image242-1.jpg" /]得知此事便控告杨慎矜与这些预言有牵连，由于杨慎矜为隋皇室后裔，王[img alt="" src="../Images/image242-1.jpg" /]又指控杨慎矜策划发动叛乱，复辟隋王朝。杨慎矜被捕加之李林甫的陷害，杨慎矜及其两个任高官的兄弟被迫自尽。他们的同僚也像之前的清洗一样受到株连和惩处。此后王[img alt="" src="../Images/image242-1.jpg" /]接任了杨慎矜的工作，控制了国家财政。他善于搜刮民脂民膏，征收的税额超过了李林甫精心规定的岁入定额，他将这些收入转入唐玄宗私囊，更进一步助长了唐玄宗骄奢的生活，他还利用自己的权力剥削百姓、大发横财。王[img alt="" src="../Images/image242-1.jpg" /]大肆搜刮民财，天宝年间，租税征收十分繁重，苛征暴敛加重了广大人民的负担，社会矛盾逐步激化。

李林甫除掉杨慎矜后，此时又出现了一个危及李林甫支配地位的边境将领王忠嗣，王忠嗣的成就以及在朝廷的势力与以前的皇甫惟明一样，对李林甫产生极大的威胁。唐玄宗于天宝六载（747）命令进攻青海湖之东的吐蕃要塞，王忠嗣认为此要塞坚不可摧，因此拒不参战，后来该战斗以唐军失败而告终，王忠嗣因此受到了指责。由于他与太子关系密切，李林甫便利用唐玄宗的不快指控王忠嗣与太子谋划发动政变。王忠嗣被捕，虽然唐玄宗并不相信这次指控，但是王忠嗣仍被派往西南任职。

至此，李林甫取得了政治斗争的胜利，但此次政治斗争也削弱了他自己的地位，更为重要的是激烈的政治斗争削弱了中央政府和皇帝的地位，奸佞之臣专擅大权，中央官僚集团中大批杰出人物在政治斗争中牺牲了。国家财政此时又控制在王[img alt="" src="../Images/image242-1.jpg" /]手中，吏治的腐败正在逐渐严重。

当李林甫逐渐取得他在朝廷上的支配地位的同时，又一个强大的力量在此过程中逐渐崛起。此人正是杨贵妃的亲戚杨国忠，随着杨国忠势力的发展，他也日益与李林甫对立起来。天宝十一载（752），王[img alt="" src="../Images/image242-1.jpg" /]被清除出政治舞台，李林甫势力受到削弱，并不断地受到来自杨国忠的打击。李林甫于天宝十一载十一月去世后，杨国忠即刻被任为宰相，不久陈希烈也辞去宰职，而继任相职的韦见素见风使舵毫无主见，副署杨国忠做出的命令时从不迟疑，不过是一个傀儡而已。杨国忠又于天宝十三载（754）除掉京兆尹李岘，同时又打击了可能被调入朝廷担任宰相的韦陟势力。于是杨国忠逐渐成为朝廷中左右一切的人物。

唐玄宗后期统治集团内部矛盾激化，爆发了一系列激烈的政治斗争，使得大量杰出的人物从此断送前程，而唐玄宗日益怠于政事，任奸弃贤，导致李林甫专擅大权，杨国忠胡乱处理政事，同时天宝年间，租税征收十分繁重，社会矛盾日益激化，开元时期鼎盛的景象在此时开始出现倾颓之势。