吕蒙字子明，汝南郡富陂县（今安徽阜南）人，他出身贫贱，幼年丧父，又逢战乱，在家乡孤苦无依，无以为生，十多岁时，随同母亲到江南投靠姐夫邓当。邓当在孙策部下任军职，经常要奉命出征。吕蒙自动悄悄跟上出征队伍学习作战。姐夫禁他不得，告知其母。母亲怪他小小年纪作战危险，严厉斥责。吕蒙回答说：“出身贫穷卑微，要想成家立业，总得作一番奋斗。”于是，十五六岁的吕蒙就从军了。

初时，吕蒙学习行军打仗，偏重胆略，唯以勇武自励，好凶猛斗杀，未免粗野。有一次，有个军吏欺他年少，讥刺他说：“你这毛孩子，上战场能干点什么，还不是白白往虎口里去送死！”吕蒙听了一时愤激，当即拔刀杀死了这军吏。事后躲避不得，只好通过校尉袁雄自首。孙策却十分赏识吕蒙的胆略，免了他的罪，留他在自己身边。这是吕蒙增长见识的好机会。他认识到浮躁冲动、轻率妄杀的缺点，并且从孙策的指挥艺术中得到启迪。邓当病逝，吕蒙受命继邓当为别部司马。

孙策死后，孙权继孙策为吴侯，整顿军队，每见将领年轻稚弱、军队装备粗劣的，就予以合并。当时，吕蒙才二十二岁，苦于军费拮据，装备不齐，为了免遭淘汰，及时向人赊账，装备一新。到了校阅那天，孙权见吕蒙所练军队军容严整，操练精熟，十分满意，不但不予裁并，还给他增添了兵员，让他从征。孙权为报杀父之仇，向黄祖开战。黄祖令都督陈就率水军对阵。吕蒙为了打击对方的士气，带领一队精兵直奔陈就的“都督”大旗，亲自带头杀死陈就，使敌军军心动摇。这时吕蒙高高地举起陈就的首级，向友邻部队大声呼唤。于是各路奋进，击溃敌方主力，俘获黄祖。孙权评价这次战役吕蒙居首功，把他从都尉提升为中郎将。

孙权在与吕蒙接触中，发现他有才干而无文化，深感可惜。告诫他，勇而寡谋，野而少文，不能成大将。要他经常读书，首先要读好《孙子》《六韬》《左传》《国语》及三史，即《史记》《汉书》《东观汉纪》。吕蒙感到为难，说：“军务繁忙，哪有时间顾得上读书？”孙权向他指出：学习与平时的军务同样重要，学好了可以更好地带兵打仗。还谈了自己日理万机，百忙中挤时间读书的体会。吕蒙领悟以后，开始用心读书，努力弥补从小不学无文的缺陷。他勤学不倦，日有进益，积年累月，所浏览的史传之多，连年老博学的读书人也很少胜过他，他读书注重实际，讲求心得，进步甚快。大将鲁肃早年就认识吕蒙，后再交接时，发现吕蒙已前后判若两人，非常钦佩地称赞他说：我原以为您只有武略，如今才知道您学识英博，不再是当年的“吴下阿蒙”了。后来，孙权也对吕蒙刮目相看，认为他“学问开益，筹略奇至”，已不亚于周瑜了。