李东阳的为官之道，如果仅从道德观念出发，的确有可指责之处。如果以气节为尚，他就不能留在首辅位上与恶人为伍。但是，正是因为他与狼共舞，许多道德至上的君子才得到了保护。换句话说，正因为他下了地狱，才让一些君子上到了天堂。官场非常复杂，仅有操守气节，在某种特定时期，是做不成事的。但是，一帮奉道德为圭臬的清流却借此攻击李东阳。有一天，李东阳的门前，也出现了一张白头帖，帖上是四句诗：

清高名位斗南齐，

伴食中书日已西。

回首湘江春水绿，

子规啼罢鹧鸪啼。

很明显，这匿名诗讥刺李东阳贪恋禄位，不能像刘健、谢迁那样拍案而起，挂冠而去。鹧鸪啼“行不得也，哥哥”，实际上的意思是“哥哥，你快走吧”。据说，李东阳看到这首诗后，脸色沮丧，却照旧吩咐起轿，前往内阁上班。而这首诗也不胫而走，数日里传遍两京。

不久，又发生了一件事，对李东阳刺激更大。

一个叫罗玘的侍郎，是李东阳的门生。所谓门生，即李东阳担任会试主考官时录取的进士。在明代，座主与门生的关系，是各种人际关系中最为重要的一环。门生视座主为再生父母，终身恭敬。可是，罗玘觉得李东阳骨头太软，要他辞官保持名节。李东阳不置可否。罗玘恼怒之下，竟写了一封公开信给李东阳，声明从此断绝师生关系，自请削籍。李东阳看到这封信后，俯首长叹不已。

试想一下，当上首辅的李东阳，处境何其艰难。一方面，他要与刘瑾、焦芳等一帮恶人为伍，既不能同流合污，又要操劳国事，弥缝艰难；另一方面，他还要忍受来自同类的误解和伤害，既不能辩解更不可报复。事实上，来自同类的伤害让他更为伤心。

正德五年（1510）八月，在三边总督杨一清与太监张永的联手下，刘瑾被武宗下令逮捕并最终诛除。据说刘瑾被凌迟处斩时，怨恨刘瑾的人家，都争先恐后地上前购买刘瑾的肉，不等肉煮熟，便都吃了下去，以此发泄压抑太久的愤怒。

刘瑾虽死，但朝政仍在宦官的掌握之中。八虎中的张永、马永成等，依然深受武宗信任。内阁仍是影子内阁，辅臣缩手缩脚，不敢有所作为。

李东阳备尝心力交瘁的滋味，加之已六十四岁高龄，真正地萌生了退意。从正德五年十一月十八日向武宗呈上《奏为陈请乞恩，恳求修致事》这篇奏疏开始，到正德七年十二月二十四日呈上《奏为老病乞休事》为止，短短两年间，给武宗皇帝一共写了十二篇退休报告。平均两个月写一篇，可见求去心切。武宗开头是一味地挽留，后来看到李东阳确实老病力不从心，遂于正德七年十二月二十六日下旨准予离职，并按照以往的惯例，赏赐敕书，给予廪食、仆隶，并恩准留居北京。这一年，李东阳六十六岁。