司马懿，字仲达，河内温县（今河南温县西南）人，出身于一个东汉以来累世二千石（郡太守）的地方豪族。先祖原属以“传剑论显”的“将种”，到他父亲司马防时才开始讲究儒学礼法。此后，司马懿父子便以“传礼来久”的儒门望族自居，来增添自己的身价。司马懿早年当过本郡的郡吏，到了建安十三年（208）曹操晋位丞相后，才提拔他为相府文学掾，时年二十九。晋代的史官为替司马氏代魏辩解，就说司马懿早年曾忠节于汉，坚决不肯出仕于曹操，而是在曹操派遣刺客威胁下才被迫应聘的。其实在曹操挟汉献帝定都许昌的前后，司马懿的父亲司马防、兄司马朗、堂兄司马芝先后都投靠曹操，并受到重用。河内司马氏与曹操的关系并不坏，所以司马懿辟文学掾后便得以迅速迁升，“迁黄门侍郎，转议郎，丞相东曹属，寻转主簿”（《晋书·宣帝记》）。其中东曹属主管人事，主簿综理丞相府的庶务，都属亲重的职务，绝不像是曹操政治上的反对派。何况征辟前司马懿乃一默默无闻的郡吏，不出仕对曹操构成不了什么威胁，曹操完全没有必要派刺客去胁迫他出来做官。

《宣帝纪》说司马懿年轻就获得“聪亮明允，刚断英特”的美誉，被当代名士杨俊、崔琰视为“非常之器”，但从有关的记载却看不到他早年有什么事迹。当时，曹操身边聚集了不少才智之士，他连贾诩、刘晔都比不上，像荀彧、郭嘉等一流人物就更不必说了。然而，司马懿不失为一个思虑深沉的政治家，他善于审时度势，在曹操父子与东汉帝室的权力斗争中，始终坚定地站在曹氏一边。他之所以会发迹，乃在于促进汉魏的禅代。建安二十五年（220），吴蜀联盟破裂，孙权上书向曹操称臣，劝曹操称帝。司马懿就不失时机地对曹操陈说天命，说曹操称帝完全符合“天人之意”。曹操害怕沾上“篡逆”的恶名，不敢称帝，却想当周文王，准备让儿子曹丕来建立新的王朝，因而早就着手替曹丕选择了几个政治上可靠的助手。司马懿是其中之一。在相府任职时，曹操就让他与曹丕“游处”，到曹丕立为世子后，又任命他为“太子中庶子”，与陈群、吴质、朱铄同列为曹丕的“四友”，都属曹丕智囊团中的主要人物。曹操死后，曹丕继位，禅代的紧锣密鼓就敲响了。司马懿被提升为丞相府长史，随后曹丕担心军队不稳，便任命司马懿为“督军御史中丞”，这是一种为应急临时设置的官职，就是让他以“御史中丞”的身份去监视那些带兵的将领。接着，司马懿又以“督军御史中丞”率领一批朝臣上表劝进，过了十七天，曹丕就登上皇帝的宝座。司马懿因翼戴有功，魏朝建立后，就成了曹丕的心腹大臣。黄初五年（224），曹丕出征吴国，委司马懿以抚军将军、录尚书事留守许昌，代他总揽后方的行政和军事。此后，凡是曹丕出巡或出征，都由司马懿坐镇。曹丕病危，又被列为托孤顾命的辅政大臣，开始跻入魏朝的上层领导核心，这时他已四十八岁了。司马懿前半生致力于促成汉魏禅代，并没有什么异常的建树。