腐刑就是男人去势的宫刑，男人去势后，无法再生育，有如腐木不再生果实，所以称之为腐刑。谈到腐刑就会让人联想起宦官。其实在司马迁以前的朝代，受腐刑及做宦官并没有后世那样受人歧视。
据说最早时，常有一些俘虏或因罪被罚的贵族因为聪明或有技艺，在受了腐刑之后，为贵族们服事执役，其地位甚至在一般农牧工商的平民之上。
秦朝时，宦官赵高为郎中令，且担任秦二世之师。司马迁的时代距秦不远，稍早的吕后曾封宦者为侯，而且汉的政治组织中行政性质与宫廷服务性质并存，还保留不少“家臣”的遗风，政府组织尚未成熟到与宫廷截然分开，因此宦官还没被皇帝提升到“内廷”的控制集团，而与宰相领导的“外廷”相对抗，后世所见的宦官恶劣形象也还没有形成的条件。因此，受腐刑虽然难免会遭到讥笑，但还不至于如我们后世想的那么严重。
不过司马迁毕竟是个知识分子，与一般平民的想法有所不同，他认为人有十等：第一等的不辱及祖先，次一等的本身不受辱，再次一等的脸面不受辱，再次一等的言辞不受辱，再次一等的躯体不受辱……而最下等的就是受腐刑。“行莫丑于辱先，诟莫大于宫刑”，他认为这是奇耻大辱。他甚至举出三个历史上受腐刑而被歧视的例子，然后说：“夫以中材之人，事有关于宦竖，莫不伤气，而况慷慨之士乎！”
司马迁以“慷慨之士”自居，视腐刑为无以复加之耻，于是摆在面前的三条路中，似乎只剩下自杀免受辱这一条了。可是，他反问自己，能就这样死掉吗？如此一问，那就不是受死刑还是自杀了，而是生与死的抉择，“人固有一死，死有重于泰山，或轻于鸿毛，用之所趋异也”。
慷慨就死诚然痛快，可是自己长久以来所抱持的理想就要随着生命的消逝而变成泡影。父亲临终时所说的“废天下之史文，余甚惧焉，汝其念哉”犹在耳际，当时自己“俯首流涕”地答应了父亲，那幅情景历历在目。父亲死后，自己“紬史记石室金匮之书”，从青年时期游历天下，又随汉武帝巡游名山大川，访问故迹遗老，那些论著构思已跃然笔墨之间。如果逞一时之快，贸然就死，那些东西岂不成了未完成的“断”简“残”篇？
想到这些，司马迁经过激烈的思想斗争之后毅然决定求生，他要留下这条命，为了对父亲的承诺，及自己的未竟之志活下去。他向狱官请求接受腐刑以免死。在天汉四年与太始元年（前97—前96年）间下了“蚕室”——因为受腐刑的人怕风，需要暖气，所以作暗室蓄火，有如养蚕之室，故称之为“蚕室”。
在旁人看来，这本是求生意志作用下的一种自然反应，无足为奇，但司马迁心中的郁闷和苦衷真的不是旁人可以了解的。
受刑后的司马迁“肠一日而九回，居则忽忽若有所亡，出则不知其所往”，恍恍惚惚不可终日。只因为多说了几句话而遭此横祸，亲戚和乡人耻笑他，说他污辱了祖先。司马迁自己也觉得愧对死去的父母，“亦何面目复上父母之丘墓乎？”每念及此，就“汗未尝不发背沾衣也！”这种痛苦的心情直到五六年后，在他写给朋友任安的信中，才得到尽情的发泄。
受了腐刑之后，司马迁就不宜再担任太史令了，因为那是与宗庙祭祀有关的官，身体“残缺”的人不宜任职。而汉武帝这边，李陵案已经过去，他心里明白李陵最后叛汉是被他几次误会逼的，这件事实在没有再追究下去的必要。他对司马迁也有一丝歉疚，于是又将司马迁从狱中调回自己身边工作。
宦官的得权一般都认为是自汉武帝这里开始的，他晚年多在后宫决事，身边自然形成了一个在宫内作为皇帝统治工具的集团，也就是内廷，不过那时候，还没到宦官一手包办的局面。汉武帝晚年既然喜欢在后宫“遥控”政府，那么原来掌管“出纳王命”（管理大臣所呈奏书，及皇帝判行命令的下发）秘书工作的尚书就有机会在中间掌握权力。
尚书的主管叫作尚书令，本来是由士人担任的，后来有时也由宦官担任，就改称为“中书谒者令”，又称中书令。不管是尚书、中书或其他秘书性质的宫廷职位，都是因为皇帝在后宫逐渐给予权力，等到权力和业务范围膨胀到与行政机关相同，甚至比行政机构还要大以后，就被推出内廷到外廷，成为正式的行政机构。皇帝在宫内则另外建立内廷系统，后世行政系统的尚书、中书就是这样形成的。
司马迁被任命的新职务就是中书令，中书令的俸禄比太史令高，等于是皇帝的秘书长。《汉书·司马迁传》中说他受刑之后“尊宠任职”。与后世担任这种职务的宦官相比，司马迁必定是一个安分守己的秘书长，撇开他本身的因素不谈，汉武帝那样独断专行的个性又怎么可能给他掌权的机会？《晋书》中说：“尚书本汉承秦置，及武帝游宴后庭，始用宦者主中书，以司马迁为之中间，遂罢其官，以为中书之职。”有人不同意这种说法，研究者一再强调司马迁不是宦官，不能将其作为“宦者主中书”的开始。可是既然尚书令因为改由宦官担任才改称为中书令，那么在汉武帝眼中，司马迁已经算是宦官了，不过这中间还有不少疑问存在。总之，司马迁受腐刑后，常常与宦官接触、共事，但后世实在不愿把他归入宦官之流。
自从太初元年，即公元前104年，司马迁执笔写《史记》以来，到李陵案发生而被下狱，这期间过了七年。接着在狱中的两三年，据说司马迁并没有停止创作，不过他的心境已经发生了彻底的变化，一直到《史记》完成为止，李陵案的余响都可以在其中找到痕迹。司马迁所受的创伤也可以从中看到相当程度的反映。