朱厚熜尽管器重严嵩，时间长了，总看着那张老脸，心里也有点厌烦。嘉靖二十九年（公元1550年），将军仇鸾在蒙古入侵时通过特殊手段，立下了“战功”，得到朱厚熜的信任。但严嵩仍然以子辈对他，令仇鸾十分不满，两人互相攻讦，都想把对方整下去。嘉靖皇帝看了严嵩弹劾仇将军的报告，似乎不大感兴趣；仇鸾对严嵩的举报信，朱厚熜反而看得津津有味。那段时间，严嵩深深地感受到：领导对自己有意见了，渐渐疏远了。本来应该轮到严嵩去西苑值班的，皇帝都不要他来，而是传唤了别人。“红颜未老恩先断，斜倚薰笼坐到明”，严嵩不是后宫的妃子，却也担心皇帝的龙宠会不会中断。他看起来很有权力，气焰熏天，但这一切都是朱厚熜赐予的，哪天不要自己了，他说滚就滚。严嵩做惯了内阁首辅，又得罪了那么多人，哪天下台了，会有什么苦日子可想而知。因此，他常常回到家里，与儿子严世蕃对泣。
幸好，仇鸾这个人也没有真本事，他那些所谓的功劳都是虚假的、伪造的，真相揭发出来，嘉靖皇帝怒不可遏，下令把他开棺勠尸。至于严嵩，嘉靖皇帝对他的态度缓和了许多，就像之前一样信任：朕听信了仇鸾的谗言，实在是对不住。严嵩心里稍稍安稳了些。恰在此时，发生了另一起弹劾严嵩的大案。发起人叫杨继盛，字仲芳，容城人。他很小的时候就失去了母亲，后妈对他很不好，让他放牛。有一次杨继盛看见有人在私塾念书，心里很羡慕，就去求他的哥哥也让他去上学，兄长不大愿意：“小屁孩，读什么书？”杨继盛反驳道：“小孩子可以放牛，为什么就不能读书？”家里就同意他上学了，但要求他不能误了放牛工作。长大后，杨同学果然是个学霸，嘉靖二十六年（公元1547年）考上进士，被任命为南京吏部主事。
仇鸾得宠的时候，杨继盛对他很是不满，批评仇大将军就知道议和，不敢与蒙古人硬碰硬。仇鸾当然要辩解，说你小子连敌人的面都没见过，瞎嚷嚷什么！朱厚熜就将杨继盛下狱，贬为狄道典史。和沈炼一样，杨继盛也做起了老师，教孩子们读书。当地有一座煤山，被少数民族占领了，汉族百姓不得不跑到两百里外砍柴，杨继盛就去找少数民族同胞，请他们允许汉民取煤生火。对方同意了，他们很信服杨继盛，就算把我们的帐篷给你都可以，更何况煤炭。
过了一段时间，仇鸾的劣迹被曝光了，杨继盛的好日子就来了，先起复为诸城知县，又调任南京户部主事，再升任刑部员外郎。严嵩对仇鸾特别愤恨，杨继盛弹劾过仇鸾，让严阁老十分满意，想要重点提拔他。可是在杨继盛眼里，严嵩也不什么好东西，甚至比仇鸾还要恶劣，于是上疏弹劾严嵩，说他有十大罪状，主要内容和沈炼的差不多。他最后要求：“愿陛下听臣之言，察嵩之奸。或召问裕、景二王，或询诸阁臣。重则置宪，轻则勒致仕。内贼既去，外贼自除。虽俺答亦必畏陛下圣断，不战而丧胆矣。”对于杨继盛的指控，嘉靖皇帝并不采纳，把他关进监狱，就是不判刑，事情活活拖了三年，也没个结果。
朱厚熜没有杀死杨继盛的打算，这可急坏了严嵩党羽。胡植、鄢懋卿两位严党人士，就对主子说：“留着杨继盛，不除掉他，就是养虎遗患呀！”那怎么除？正好都御史张经、李天宠犯了大罪，皇帝大概是要判他们死刑的，于是杨继盛的名字就被附在死刑名单后面，朱厚熜在不注意的时候，签了同意，可以把杨继盛铲除了。消息传出来，杨夫人跪在皇宫门前，上疏朝廷，请求替丈夫死。可惜这份文件没有传到皇帝手里，而是落入了严嵩的手里，他就压着，不上报。嘉靖三十四年（公元1555年）十月，杨继盛在西市殒命，临刑时赋诗一首：“浩气还太虚，丹心照千古。生平未报恩，留作忠魂补。”天下争相传诵，以此表达对严嵩、对朝廷的不满。
奸臣末日
到了嘉靖三十七年（公元1558年），朱厚熜已经年过半百，他对严嵩的态度越来越冷淡了。当了十几年内阁首辅，严氏父子权势逐渐扩大，就像一棵树，以前是小树苗，拔起来比较容易，现在越长越大，枝繁叶茂，如果再不根除，就会威胁到皇帝的权力。放眼全国大大小小的官员，有多少人是通过严嵩提拔起来的，在他们心目中，深居西苑炼丹的皇帝，不一定比严嵩更加重要。再说这些年来，那么多大臣弹劾严嵩，对他的名声、劣迹，朱厚熜多多少少知道一些，是时候杀鸡给猴看，平息民愤了。
严嵩虽然位极人臣，却没有像许多官员三妻四妾，逛窑子、喝花酒，他对爱情比较忠诚，夫人姓欧阳，在嘉靖末年去世了。按照礼制，严世蕃应该回江西老家安葬母亲，可严嵩离不开东楼呀，没了他，谁来揣摩皇帝的心思，帮助他票拟意见？就让孙子护送奶奶灵柩南下，把严世蕃留在京师。因为有孝在身，严世蕃不能入直房，只能待在家里。皇帝有命令下来了，大臣有折子上奏了，严嵩只能自己票拟，但写出来的东西往往不能让朱厚熜满意。还是得靠东楼！于是他就派人回家让严世蕃拟旨，可是严世蕃沉溺于声色之中，不能及时作答。等了半天还不来，嘉靖皇帝不耐烦了，八十多岁的老臣了，越来越不顶用，本来就对他们不满意，现在更加不满了。
嘉靖四十年（公元1561年），一场火灾，把朱厚熜居住的永寿宫烧毁了。皇帝住哪儿呢？是个值得思考的问题。严嵩没有猜透皇帝心思，建议他住到南城斋宫去，引得龙颜大怒。那是什么地方？是明英宗朱祁镇做太上皇时住的南宫呀，关押阶下囚的地方，朱厚熜会愿意住到那里去？这时内阁次辅徐阶建议皇帝重修永寿宫，永寿的寓意让朱厚熜很满意，真是深得朕心。宫殿建好后，改称为万寿宫。严嵩更加失宠了，有军国大事，都不怎么找他，全问徐阶去了。
徐阶字子升，是松江华亭人氏，和严阁老一样，南方汉子一枚。他小时候就与众不同，曾两次死里逃生，一次是在周岁时，不小心掉井里去了，家人赶紧把他捞上来，抢救了三天，徐阶才苏醒；第二次是在五岁时，从高高的山岭上掉下去，本以为难逃一死，没想到衣服挂在了树枝上，安然无恙，只是受了点惊吓。当地老百姓听说徐阶的遭遇，都感觉很神奇。俗话说：大难不死，必有后福，徐阶真的有后福吗？
长大后，徐阶个子短小，皮肤白皙，俨然一副书生模样，嘉靖二年（公元1523年）中进士，被封为翰林院编修。早年的徐阶年轻气盛，仗义执言，不畏官场险恶。嘉靖皇帝准备采纳张璁的提议：除去孔子王号，简化祭祀礼仪，于是就让儒臣们讨论讨论。大家都没有意见，唯独徐阶坚决反对。张璁气得火冒三丈，我的主张，你小子也敢反驳？徐阶根本不怕张璁，和他针锋相对。张璁愤怒地说：“你背叛我！”徐阶感觉很好笑：“背叛的前提是依附，请问我什么时候投靠过你了？”此时张璁通过大礼议上位，成为皇帝面前的红人，徐阶得罪了他，没有好果子吃，被贬为延平府推官。在地方期间，徐阶捕捉盗贼，兴办学堂，政绩卓著，官升得也很快，从黄州府同知、浙江按察佥事，再到江西按察副使，最后回到京城，担任礼部右侍郎、礼部尚书。
嘉靖皇帝对徐阶十分满意，他青词写得特别好，能够满足朱厚熜修道的需求，而且严嵩做首辅太多年了，也需要一个人制衡他。严嵩对徐阶十分忌惮，不是自己人，没准哪天就取代自己了。杨继盛弹劾严嵩，严嵩怀疑是徐阶指使的。赵锦、王宗茂弹劾严嵩失败，徐阶说不要罚那么重。给事中吴时来、主事董传策、张翀弹劾严嵩，又失败，被关进监狱里，更让严嵩满腹狐疑。这董传策，不是徐阶老乡吗？吴时来、张翀，都是徐阶的门生呀！严阁老多次向皇帝汇报，徐阶在背后算计我，他是大后台，朱厚熜却不接受，就算是徐阶干的，也不能治他的罪，少了他，严嵩不就无法无天了。徐阶虽然想扳倒严嵩，但时机不成熟，他表面上对待严嵩还是很谨慎的。
永寿宫被毁后，对于严阁老来说，目前的形势岌岌可危，只要有个风吹草动，朱厚熜就会让他卷铺盖走人。突破口在哪儿呢？竟然是一个没有什么地位的小道士。蓝道行，是个擅长乩仙的道人，有一天嘉靖皇帝问他：“现在国家为什么治理得不好？”蓝道行就去问神仙，得到的结果是：贤能的大臣没有得到重用，比如徐阶；奸恶的大臣没有被罢免，比如严嵩。皇帝又问：既然神仙都知道严嵩不好，为什么不直接把他除掉呢？蓝道行解释说：上天想给皇帝一个机会，让您自己把奸臣除掉！这番话当然与神仙无关，全是蓝道行自己的主意。他不过是狐假虎威，借神仙之名，行倒严之实。因为这次神仙的说法和嘉靖皇帝的心意相同，他就相信了。
邹应龙，字云卿，长安人，嘉靖三十五年（公元1556年）中进士。当时他正担任御史，观察到严嵩已经逐渐失宠，朱厚熜有除掉他的想法后，与沈炼、杨继盛一样，上书弹劾：“工部侍郎严世蕃凭借父权，专利无厌。私擅爵赏，广致赂遗。使选法败坏，市道公行。群小竞趋，要价转钜。刑部主事项治元以万三千金转吏部，举人潘鸿业以二千二百金得知州。夫司属郡吏赂以千万，则大而公卿方岳，又安知纪极？
平时交通赃贿，为之居间者不下百十余人，而其子锦衣严鹄、中书严鸿、家人严年、幕客中书罗龙文为甚。年尤桀黠，士大夫无耻者至呼为鹤山先生。遇嵩生日，年辄献万金为寿。臧获富侈若是，主人当何如？
嵩父子故籍袁州，乃广置良田美宅于南京、扬州，无虑数十所，以豪仆严冬主之。抑勒侵夺，民怨入骨。外地牟利若是，乡里又何如？
尤可异者，世蕃丧母，陛下以嵩年高，特留侍养，令鹄扶榇南还。世蕃乃聚狎客，拥艳姬，恒舞酣歌，人纪灭绝。至鹄之无知，则以祖母丧为奇货。所至驿骚，要索百故。诸司承奉，郡邑为空。
今天下水旱频仍，南北多警。而世蕃父子方日事掊克，内外百司莫不竭民脂膏，塞彼溪壑。民安得不贫？国安得不病？天人灾变安得不迭至也？臣请斩世蕃首悬之于市，以为人臣凶横不忠之戒。苟臣一言失实，甘伏显戮。嵩溺爱恶子，召赂市权，亦宜亟放归田，用清政本。”
邹应龙在奏章中，批判了严氏父子卖官鬻爵、贪污受贿、不孝先妣、勒索无度等劣迹，要求嘉靖皇帝处死严世蕃，把他的人头挂在闹市区，教育贪官，安抚百姓。至于严嵩，已经耄耋之年了，押到刑场处死，好像有点不太合适，应该免去一切职务，放回老家。收到邹应龙的弹劾奏章，朱厚熜终于下定决心，与共事多年的严嵩一刀两断了。严嵩八十多岁了，精力不济，已经不那么“好用”了，是时候退出官场了；担任内阁首辅多年，又喜欢擅权，在各部门安插自己的亲信，久而久之，树大根深，对皇权已经产生了威胁；在写青词、领会皇帝意图等方面，也越来越力不从心。天下没有不散的筵席，君臣之谊，就到此为止吧。
嘉靖四十一年（公元1562年），朝廷下旨：内阁首辅严嵩退休还家，每年财政拨款一百石大米，作为养老之用。严世蕃，还有严嵩的孙子严鸿、严鹄，门客罗文龙，都抓起来，由司法部门定罪。这一天总算是来了，年迈的严嵩没有办法，但是想保住儿子，就上疏请求皇帝把严世蕃他们给放了，朱厚熜不允许。很快，判决结果出来了，严世蕃、严鹄、罗文龙发配边疆，特赦严鸿，让他照顾严嵩，养老送终。严家的奴仆严年被判监禁。邹应龙弹劾有功，升任通政司参议。
这一回，严嵩是真的垮台了，他收拾好行李，回江西老家。朱厚熜毕竟与严阁老共事多年，突然没了他，心里有些空落落的，若干年来，严嵩已经成为他生活中非常重要的一部分。无可奈何花落去，过去终究是过去了，人应该向前看。他把徐阶召了回来，表达出传位太子，自己深居西苑安心修玄的想法。徐阶知道皇帝话里有话，肯定不是真的想退休，便极力反对，朱厚熜顺水推舟，道出了真实想法：“卿等不欲，必皆奉君命，同辅玄修乃可。严嵩既退，其子世蕃已伏法，敢更言者，并应龙俱斩。”以后你们要更加尽心地辅佐朕，乖乖听话，严嵩已经倒台了，他的儿子严世蕃也得到应有的惩罚，你们也不要再穷追猛打、斩草除根了。如果有人敢这样做，朕就把他还有邹应龙一起处斩。
南昌城里，一位八十多岁的老头儿下了车，他的内心是凄凉的，当年是何等的叱咤风云，现在又是何等的悲哀。盛衰无常，自古皆然。回首此次垮台，有三个人发挥了巨大作用，一个是蓝道行，一个是邹应龙，还有一个是徐阶，严嵩想报复他们。蓝道行虽然揭发了严阁老，自己也不检点，严嵩就贿赂皇帝身边的人，告发蓝道行怙宠招权等种种劣迹，皇帝大怒，把他抓到监狱里。严嵩悄悄派人告诉他：只要你揭发是徐阶指使你的，就保你没事。可是蓝道行死活不肯，宁愿被杀，也不愿意帮严嵩把徐阶拖下水。在南昌铁柱宫，听说有个叫蓝田玉的道士，会用符术召鹤，严嵩就把他的符箓还有祈鹤文托人带到北京，转呈给嘉靖皇帝，还请求朝廷把严世蕃、严鹄给放了，助他颐养天年。朱厚熜没有答应，虽然你已经八十四岁了，但朕已经给了恩典，把孙子严鸿无罪释放，给你养老送终，怎么，一个人还不够，非要三个才行？
严世蕃、罗文龙被朝廷发配雷州、寻州，严世蕃走到一半就逃跑了，回江西老家。罗文龙刚刚到寻州没多久，也偷偷溜掉，去了徽州，经常去江西与严世蕃来往。他们强迫老百姓四千人给他们修建豪宅，还收容了许多江洋大盗。御史林润视察长江防务，了解到严世蕃等人的实际情况，就上疏给朝廷：“臣巡视上江，备访江洋群盗，悉窜入逃军罗龙文、严世蕃家。龙文卜筑深山，乘轩衣蟒，有负险不臣之心。而世蕃日夜与龙文诽谤时政，摇惑人心。近假名治第，招集勇士至四千余人。道路恟惧，咸谓变且不测。乞早正刑章，以绝祸本。”告发两人蛊惑人心，意图造反。嘉靖皇帝闻讯大怒，让你们去戍边，你们不去，还跑到乡里为非作歹。赶紧抓起来，给他们定罪。逮捕令是从北京发出的，严氏父子在锦衣卫还有人，就通风报信，请严世蕃赶紧去雷州，不要在家待着。谁知信还没送到，林润已经到了，严世蕃猝不及防，被抓了个现行。
刑部尚书黄光升与大理寺官员以及御史们商议，怎么把严世蕃置于死地，思来想去，决定弹劾他们陷害杨继盛、沈炼等人的事情。消息传到严世蕃耳朵里，他反而特别高兴：这下没有性命之虞了。黄光升把奏折交给徐阶，请徐大人指点指点，徐阶说：“你们是想让严世蕃活下来吗？”大家疑惑不解，怎么可能！我们是要让他死！徐阶又说：“沈炼、杨继盛等案件，虽然是严嵩下的手，但拍板的是当今圣上，你们用这些罪名弹劾严世蕃，从侧面说明皇帝的决策是不对的。这份奏章要是真的交上去了，严世蕃可以出狱，你们都要倒大霉！”那怎么办？把涉及皇帝的内容全部删掉，以阴谋造反、勾结倭寇的罪名起诉。刑部尚书恍然大悟，原来如此呀！高！实在是高！严世蕃听说黄光升修改了罪名，感觉大事不妙，绝望地说：“这下完了！”果然，嘉靖皇帝批准了三法司的审判结果，将严世蕃斩首并抄家，搜出黄金三万余两，白金二百万余两，还有价值数百万的珍宝、古玩、高档服装等等。
严嵩失去了至亲，也失去了所有财产，一个八十多岁的老人，又没有谋生手段，还能活多久可想而知。为了生存，他不得不徘徊于坟地，哪家人祭祀完祖先，离开墓园，他就跑过去偷吃坟前的祭品。嘉靖四十五年（公元1566年），曾经烜赫一时的严阁老在贫病交加中死去，没有精雕细琢的棺木，也没有浩浩****的悼念者。同年，嘉靖皇帝也驾崩了。君臣二人在黄泉路上倒是有个照应。