御史邹应龙得了梦兆后，立即挥毫泼墨，专门参劾严东楼。奏折递上去之后，世宗看完，就找来大学士徐阶商议。徐阶低声说道：“严氏父子罪恶昭彰，陛下应该果断一点，免得滋生祸端。”世宗点头。徐阶退下去之后，径直造访严府。此时的严嵩父子已经听说邹应龙上疏的事情，正担心会有什么不测，看到徐阶前来，慌忙出去迎接。寒暄过后，就问起邹应龙参劾的事情。徐阶从容地说：“小弟今天到西宫值班，正巧邹应龙的奏折递到。上面看完之后，不知为什么勃然大怒，立即召来小弟问话。小弟就说严相任职多年，并没有什么过失，严公子平时的所作所为，也不像奏折上说得那么严重。小弟说完之后，见龙颜已经温和下来，想必不会有什么事情了。”严嵩急忙下拜：“全仗多年老友极力挽回，老朽应当拜谢。”严世蕃也跟着父亲叩头，惊得徐阶连称不敢，忙扶起严嵩父子，然后好言劝慰一番，这才离开。
严嵩父子将徐阶送出家门。回到家没过多久，就有锦衣卫来宣读诏书，勒令严嵩罢官，并逮捕严世蕃下狱。严嵩跪在地上，见严世蕃已经被免去衣冠，由锦衣卫推了出去，这才徐徐起来，泪如雨下，呜呜咽咽地说：“罢了！罢了！徐老头明知道这件事，还来这里探试，真是可恶！”转念又想：“现在得宠的大臣只有徐阶，除了他，也没人能营救了。”正在满腹踌躇的时候，鄢懋卿、万寀等人都来探望。万寀是大理寺卿，鄢懋卿这时已经升为刑部侍郎，二人都是严府的走狗。严嵩刚和他们谈几句，不料锦衣卫返了回来，索要严世蕃的儿子严鹄、严鸿以及家奴严年，吓得严嵩说不出话。鄢、万二人也没有办法，只好将三人交出，让锦衣卫带走。这时家人又来通报，说中书罗龙文已经被逮捕。这时候的严府内外，悽惶万状，窘迫不堪，大家都围着鄢懋卿、万寀，请他想办法。鄢懋卿抓耳挠腮地想了一会儿，才说：“有了！有了！”大家听了这话，连忙问是什么办法？鄢懋卿说：“你们不要慌张，我自有办法！”说完，就在严嵩的耳边说了几句。严嵩说：“这也是没有办法中的办法，但恐怕徐老头子会从中作梗，以至于坏事。”万寀道：“不妨派个人去探一探，看那徐老头子到底是什么意思。”没过多久便有人回报徐阶的话：“我要是没有严氏的提拔，就没有这高官厚禄，我决不会负心”。鄢懋卿说：“这老头子诡计多端，他的话怎么能信？我们就照计划去办吧。”说完匆匆离开。
不到一天，就有诏旨将蓝道行逮捕下狱，原来鄢懋卿想营救严世蕃，就贿赂内侍，陷害蓝道行，并说邹应龙就是受了蓝道行的唆使才递上奏折。世宗果然中计，竟然将蓝道行捉拿。鄢懋卿等人又私下派人去说服蓝道行，说只要他将责任推给徐阶，就可以脱罪。蓝道行说：“除贪官是皇上的本意，纠贪罪是御史的本职，关徐阁老什么事？”这话传到鄢懋卿的耳朵里，只弄得画饼充饥，仍然没有一点办法。于是严世蕃被贬戍雷州卫，他的儿子严鹄、严鸿以及私党罗龙文全部戍守边疆，升邹应龙为通政司参议。没过多久，御史郑洛参劾鄢懋卿、万寀朋比为奸，二人都被免官。随后，工部侍郎刘伯跃、刑部侍郎何迁、右通政胡汝霖等人因为是严家的亲朋好友，也被陆续罢去。
后来，朝旨又下，加恩严鸿为庶人，让他侍奉严嵩回乡。徐阶见世宗又开始向着严嵩，恐怕遭来后患，急着想去上奏。世宗看见徐阶，就召他上前，先开口说道：“朕日理万机，不胜劳累。现在庄敬太子载壑虽然已经去世，幸好载垕、载圳都已经长大，朕准备现在禅位，退居西宫，专门祈求长生不老，你以为如何？”徐阶急忙叩头，上谏阻止。世宗又说：“严嵩辅政也有二十多年了，他的是非功过先不用说。单说帮助朕修炼始终不改这一条，就是他的第一诚心。如今严嵩已经还乡，儿子也已经伏罪，谁还敢再说什么？像邹应龙这样的人，朕决不宽恕，定当马上处斩！”徐阶大惊失色，唯唯而退。回到府中后，暗想：“严嵩已经离开，一时半会儿也不能东山再起，这还是件小事。只是裕王载垕、景王载圳平时在待遇上没什么分别。载圳有意夺嫡，怕不是活动了后宫，才让皇上说出今天的话，这件事情倒是不可不防。”
严嵩上路之后，蓝道行死在狱中。严嵩到了南昌，马上就是万寿节了，就与地方官商议，在南昌城内的铁柱观中，请道士蓝田玉等人为皇上祈福。蓝田玉能画下灵符，召来仙鹤。只见他登坛诵咒，手里捏着灵符，在香炉中焚烧起来，不一会儿工夫，居然有白鹤飞来，绕着祭坛盘旋了三周，望空而去。严嵩就和蓝田玉交好，让他传授召鹤的密法，接着写下祈鹤文，托巡抚代奏。没过多久得到朝旨，世宗不但称赞了他，还赏赐了金银。严嵩随即上表谢恩，并乘机申请：“老臣今年八十有四，只有一个儿子严世蕃，还在千里之外戍边。臣死之后，连托付后事的人都没有。请陛下赐臣的儿子回来，给臣养老送终。”谁料世宗竟不高兴地说：“严嵩有孙子严鸿侍养，已经是特别加恩，还不满足吗？”严嵩听了世宗的话，心里非常沮丧。这时，却忽然看见严世蕃父子从外面进来，不禁又惊又喜，便问道：“你是如何被放回家的？”严世蕃说：“儿子不愿意去雷州卫，所以自己逃了回来。”严嵩又说：“回来倒是好，但如果被朝廷得知，岂不是罪上加罪了吗？”严世蕃说：“不碍事的。皇上深居西宫，怎么会知道？只是那徐老头子……哼！恐怕他的脑袋就要保不住了。”严嵩惊奇地问：“为什么？”严世蕃说：“罗龙文也没去戍所，现在逃到了徽州歙县，准备招集刺客，取徐老头子以及邹应龙的脑袋，给我泄恨呢。”严嵩跺着脚说：“这你就错了！如今皇恩浩**，准许我告老还乡，你恶行累累，却没有判重罪，只是派去戍边，我们父子仍然平平安安。有朝一日，皇上回心转意，还有赦免的希望。你这么做与叛逆有什么差别？况且朝廷现在正准备加封徐阶以及邹应龙，要是知道你的阴谋，不但你我性命难保，恐怕严氏一族，也要灭门了。”严世蕃不以为然，正要狡辩，忽然听到外面人声鼎沸。严嵩大惊失色。有人来报，说是伊王府差来三十名校尉，二十多名乐工，来索要几万两银子的欠款，要求现在就要付给他。严嵩叹了口气说：“有这种事情？他也未免逼人太甚了。”
这伊王是太祖的二十五子厉王的六世孙，名叫典楧，为人贪婪暴戾，尤其好色。曾经强夺民宅，广建府邸，亭台楼阁不亚于皇宫。又命校尉、乐工等人招选民间女子，共招来七百多人，其中有九十名中选，留在王宫侍奉，其余落选的女子勒令百姓交钱赎身。校尉、乐工等人乐得从中取利，任情索价，并挑选模样不错的尽情糟蹋，百姓赎回去之后，也是残花败柳。朝廷知道后，勒令他毁去宫室，归还民女。谁知他竟然抗旨不遵，于是罪上加罪，照徽王故例，被废为庶人，禁锢在高墙之内。典楧这时才开始担心，马上派人给严嵩送去几万两银子，求他代为周旋。严嵩生平最爱的就是金银，便老实收下，一口答应，哪知自己也失了权势，怅怅归来。典楧听到这个消息，就让差人原价索回，接连数次，都被门奴挡住。他就特意派遣多人，登门硬取。严嵩不愿归还，可又不好不还。沉思了好大一阵，外面的聒噪声越来越大，不得已才将银子取出，还了回去。
乐工、校尉等人押着银子离开。到了湖口，忽然见绿林豪客蜂拥而来，直接上去抢夺金银。乐工没什么用，此时逃命要紧，三十名校尉还算有点力气，拔刀相向，与盗贼交起手来，刀来刀往，各显神通，但最终寡不敌众，只好抛弃金银，落荒而逃。这些绿林好汉押着金银径直送到了严府。原来，严世蕃暗中派遣家奴，带着几个亡命徒扮成强盗的模样，劫回了银子。严氏父子喜出望外，典楧这时已经得罪，还向哪里申诉？于是一桩劫案再也没人过问了。
严世蕃见没人检举揭发，胆子越来越大，竟然招集了几千名工匠大造府第，豪奴悍仆仍然凌辱官民。这时，正好袁州推官郭谏臣奉公出差，路过严嵩家。只见豪门之内，几百号役工搬砖运木，忙碌得很。其中还有三五名头目，身穿狐裘，在场地里监工，一派颐指气使的气象。郭谏臣低声问随从：“这不是严相的府邸吗？”随从说：“是。”郭谏臣走了过去，想到里面观察一下情况，不料已经有人喝住他：“监工重地，闲人不得擅自入内，快给我退出去！”郭谏臣的随从抢先一步，冲他说道：“家主是本州的推官。”话音未落，那人竟睁大眼睛说：“什么推官不推官，总之是推出去罢了。”郭谏臣听了，也不禁开口问道：“敢问高姓大名？”那人答道：“谁不晓得我是严相府中的严六？”郭谏臣冷笑着说：“失敬，失敬！”严六仍在那里谩骂不绝，随从正想和他理论，被郭谏臣喝住，只好低头退出。院子里有稍稍知道点事情的，和严六说：“对地方上的官员应该尊敬一点，不该如此怠慢。”严六说：“就是京城里的官出入我家门下，我也要训斥他几声，谁敢和我使个脸色？小小一个推官，怕他什么？”郭谏臣踉跄而出，役工等人一齐嘲笑，随手拾起砖头瓦砾向他身后掷去，作为送行的礼物。