皇帝身边有各种各样打小报告的人，嘉靖早就听说了赵文华督师江南时“黩货要功”的事。徐海被**平后，赵受召回京，听说皇帝对自己有了看法，就称微染小恙，皇帝即以要他安心养病为由，夺去了他的本兼各职。过了些日子，干脆降为边衙小吏，催他着即赴任。不管他先前是真病假病，这一来，真的病重了。

赵文华是在南下途中暴毙的。那一日，船行驶在京杭运河上，他忽然腹痛如绞，一整夜手捂着肚子在船上滚来滚去，就像一条搁了浅的白条。等他安静下来，船上人发现他已经歪着头死去了，肚子爆裂，肠子都流了一地，腥膻不可闻。有久历江湖的，说他是中了一种极厉害的毒，才会死得如此之惨。

这是1557年7月的事，当时胡宗宪正在一门心思对付汪直。

得悉老搭档横死，胡宗宪慌了手脚。再加王滶为了报复胡宗宪杀降，带了日人大肆袭来，东南沿海的倭患闹得更凶了，像王本固这样的顽固派，多次上书弹劾胡宗宪，皇帝也严旨切责，胡宗宪陷入了四面楚歌。恰巧他的手下在舟山捕获了一只白鹿，胡宗宪当作祥瑞送到京师，并让幕僚徐渭写下一篇《白鹿赋》，果然，喜好斋醮和青词的皇帝收到这份礼物后，天颜顿开，行了告庙礼，又加了胡宗宪官秩。胡宗宪的政治对手加大了攻势，嘉靖说，宗宪功大，又献祥瑞，不可罢他官，于是胡宗宪侥幸过关。

此时，王滶的海盗船队已经移师定海城东面的柯梅，且有向闽、粤蔓延之势，胡宗宪率水师围堵，海盗船突破包围，连下福建连江、罗源二县，还把福州城围了好几个月。朝廷追究责任，胡宗宪此时已失朝中奥援，于是把不怎么听话的总兵俞大猷推了出来，说“纵贼”的责任全在这个骄傲轻敌的将军身上。俞被下令逮至北京问罪，幸有人惜其将才，指点他去走严嵩的儿子严世蕃的路子，打通三法司关节，俞大猷免去了牢狱之灾，被发往大同效力。此后崛起的抗倭名将，是青年将领戚继光。

英雄易老，奸雄也在老去，到16世纪60年代，严嵩已是个年届八旬的糟老头子，精力大不如前。先前的内阁票拟，都是儿子严世蕃代劳的，严嵩夫人欧阳氏去世，严世蕃护丧回江西老家，再也不能陪他出入皇城西苑代笔票拟，老眼昏花的严嵩连皇帝的手诏都看不懂了，被虎视眈眈的次辅徐阶挤出了内阁。1562年，主政长达二十一年的权臣严嵩倒了台，被勒令回江西分宜老家休养，他的儿子严世蕃和两个孙子也被发往边远的雷州地区充军。胡宗宪是由严嵩义子赵文华的举荐而屡获升迁的，属于如假包换的“严党”分子，肯定脱不了干系。这年底，他被南京一个叫陆凤仪的纠察官员揭发为结好严嵩父子，“岁遗金帛子女珍**巧无数”，劾以贪污军饷、滥征赋税等罪名，锁拿进京。嘉靖对他抗倭的功劳可能已记不太清，但对献神瑞的事却记得很分明，发话说，这个人我拔用了八九年，肯定不是严党。因此只是免了胡宗宪的官职，打发他回了安徽绩溪老家。

在权力场上摸爬了一辈子的胡宗宪不甘心就这样老死故里，1563年万寿节的时候又向嘉靖“献秘术十四”。以前他献神龟、献白鹿、献灵芝，每次都是帝心大悦，这次也不例外，嘉靖又想起用他了。但这一次好运气不再眷顾他了。严世蕃被人检举没有前往雷州地区报到，反而在老家勾结倭寇谋反，还在他家搜出了两年前胡宗宪和严世蕃勾通的书信，于是胡宗宪再次被押赴至京受审。胡宗宪的结局是“瘐死”——即在狱中因饥寒、患病去世，死前留下十字绝笔：“宝剑埋冤狱，忠魂绕白云。”

胡宗宪死后，他最为亲信的两个幕僚，徐渭疯了，用利斧劈开自己头颅，把三寸长的铁锥刺入耳中，又击碎自己的睾丸，先后九次自杀，都没死成，后来又怀疑自己的妻子与人有染，把她砍死，最后被判入狱八年。另一个亲信的幕僚茅坤，一直到处奔走，为主人申冤。

历史学家谷应泰说，胡宗宪死是死了，但他到了地底下有何面目见徐海、汪直？他对胡的评价是，“才望颇隆，气节小贬，侧身严赵，卵翼成功”，一句话，胡是一个政治夹缝里的悲剧人物。

同时代人对胡的不拘世礼及私生活上的不检点一直不无微词，稍后的沈德符在《万历野获编》说他恣情妓乐，自仗着**本钱大（“自负嫪毐之器”，嫪毐是传说中战国时能用**转动车轮的男子），一到江南就搞来一大堆女人，又与健步徐子明之妻私通，纳乡官洪楩之女为妾，把个总督府搞成乌烟瘴气的私人会所一般（“与幕客**于制府，乘醉狎御史门役，至发旗牌斩之”）。联系起胡宗宪诱杀徐海后又把翠翘搞了的事，这一指责不会是捕风捉影。