公元189年，灵帝死，少帝继位。外戚何进欲诛宦官，曹操参与密谋。袁绍主张尽诛宦官；曹操却主张只惩办首恶。他说：“阉竖之官，古今宜有。但世主不当假之权宠，使至于此。既治其罪，当诛元恶，一狱吏足矣。”召外将入京，事情扬出去将招杀身之祸。果然，何进被宦官所杀，董卓入京后擅权乱朝。董卓想拉拢曹操，表举他为骁骑校尉。曹操拒绝合作，改名换姓，逃出洛阳，奔向陈留（今河南开封）。

陈留郡太守张邈是曹操好友，曹氏又有家财在此。曹操便在陈留变卖家产，招兵买马，纠集宗族，组织队伍，起兵讨伐董卓。

当时，关东（今潼关或函谷关以东）地区州牧纷纷兴兵讨卓，他们推袁绍为盟主，主持讨卓大事。曹操代行奋武将军之职，屯兵酸枣（今河南延津）。

在关东诸军的压力下，董卓挟持汉献帝迁都长安，曹操认为，董卓破坏东都，劫持天子，举国震动，罪大恶极，正是歼灭他的好时机，提议就此出击，可一战而定天下。但是，关东诸军各存私心，互相观望，不肯出战。曹操便领自己的五千士兵向前推进。在荥阳（今河南荥阳）、汴水一带，与董卓部将徐荣的大军遭遇。由于众寡悬殊，曹军失利，伤亡惨重。曹操自己也被乱箭射中，坐骑受伤，幸赖堂弟曹洪相救，才趁夜逃脱。

曹操回到酸枣，见诸军将领仍是饮酒作乐，不思进兵，于是气愤地责备他们，并且建议分兵讨伐，为之谋划，但张邈等人竟不予理会。曹操兵少，无可奈何，就同亲信夏侯惇、曹洪等人分头去徐、扬地区招募兵士。得数千人后，独立成军，投河内郡直接受盟主袁绍指挥。

关东诸军本各存扩大势力之心，在一起不久，就不断发生摩擦，进而互相火并，争夺地盘。后来，联军就此溃散，各回本州郡去了。在关东诸将内争之时，冀州的黑山农民军和青州的黄巾军迅速发展起来，威胁着地方豪强。袁绍命曹操前去围剿。曹操正想借机扩大势力，乐于听命前往。在淮阳（今河南周口淮阳区），他镇压了黑山军白绕部，被袁绍任命为东郡太守，从此曹操有了一块立足的地盘。