大业十二年（616），李密经过瓦岗军将领王伯当的介绍，来到瓦岗寨入伙。

之前，李密在邯郸逃脱后，先投奔位于平原的郝孝德。郝孝德不清楚李密的身份和价值，对李密一点也不重视。当时各部混战，大家都没饭吃，郝孝德的军队也窘迫到削树皮为食的地步。李密判断郝孝德没有前途，便脱离队伍，继续逃亡。他到达淮阳后，找了一个村子落脚，改名为刘智远，当起了教书先生。可李密压根就不是能静心隐居的人，内在勃勃的野心难以抑制。只教了几个月的书，李密就郁郁不得志，写了一首五言诗：

金凤**初节，玉露凋晚林。

此夕穷涂士，郁陶伤寸心。

野平葭苇合，村荒藜藿深。

眺听良多感，徏倚独沾襟。

沾襟何所为？怅然怀古意。

秦俗犹未平，汉道将何冀！

樊哙市井徒，萧何刀笔吏。

一朝时运会，千古传名谥。

寄言世上雄，虚生真可愧。

李密怀才不遇，将满腹的委屈都写了出来，盼望能够像樊哙、萧何一样日后成为开国元勋。李密边写边哭，被很多人看到了。有人觉得他太不正常，密告了淮阳太守赵他。赵他猜测所谓的刘智远可能是某个改名的重要钦犯，组织人力要捉拿李密。李密再次逃亡，去投靠妹夫、雍丘县令丘君明。丘君明收留了李密，但他的侄子丘怀义却向朝廷告密。杨广亲自安排人力，秘密逮捕李密。李密又一次逃脱，丘君明则被捕遇害。亡命天涯之余，李密放眼天下，决定借助某个已经大有规模的武装力量实践满腹经纶，刚好他认识瓦岗军的王伯当。最终，李密和瓦岗军“双向选择”成功。

李密这样有胆有智的世家贵族子弟加入了农民扎堆的瓦岗军，给瓦岗军的发展带来了质的飞跃。有历史学家认为瓦岗军从此由农民革命武装，转变成了地主武装。事实上，松散的农民武装要想长远发展，必须要有组织、有制度，由内到外进行规范化改造。因此，李密来到瓦岗寨，更准确的意义是他向瓦岗军灌输了一套有效的政治制度和思想，将这支部队转化为问鼎天下的强大武装。

在李密的策划下，瓦岗军有了清晰的政治规划，并且迅速壮大。

大业十二年，李密就辅佐翟让攻下了金堤关（今河南荥阳东北），打通了进军洛阳甚至是关中的道路。杨广急了，派遣隋朝最后的名将张须陀镇守军事重镇荥阳，调集军队镇压瓦岗军。翟让久闻张须陀大名，之前多次被他打败过，听说张须陀率兵来剿自己，大惧，想撤军躲避。李密拦住他说：“张须陀勇而无谋，军队骤胜，既骄且狠。这样的人一战可擒。李公只要列阵以待，我保证大破张须陀。”翟让心中稍安，决心一战。

瓦岗军与张须陀的部队正面接战，佯败逃走。张须陀果然自恃勇猛，尾随追击，一直追到荥阳以北的大海寺。大海寺附近森林茂密，李密预先埋伏了数万精兵。张须陀草率追击，这时被强敌团团包围，只能力战，以求突围。他不愧为隋朝的猛将，左右厮杀，硬是从李密的重围之中杀出一条血路，逃出了包围圈。但张须陀回头看到包围圈内还有许多部下，又策马重新杀入包围圈救援。如此反复四次，最后张须陀深陷重围，精疲力竭，身边部下所剩无几。他见突围无望，仰天长叹道：“兵败如此，何面见天子乎？”叹完，张须陀下马肉搏，惨烈而死，终年五十二岁。

大海寺战斗的胜利，不仅让瓦岗军巩固了对荥阳及周边地区的占领，直接威胁东都洛阳的安全与大运河的畅通，而且在心理上给隋朝政府沉重的打击。张须陀率领的部队是隋朝最后的精锐主力部队，久经沙场。张须陀的死和部队的覆亡让隋军“昼夜号哭，数日不止”。张须陀死后，隋朝再无良将矣。

大业十三年（617），李密进一步建议翟让乘杨广停留江都、洛阳守备空虚的良机，夺取洛阳周边的洛口仓（又名兴洛仓）。洛口仓和黎阳仓并列为隋王朝最大的官办粮仓，仓城周围二十多里，共有三千个大粮窖，每窖贮粮八千石。经过计划，李密率领数千精兵，成功占领洛口仓，并开仓济贫。贫苦百姓欢呼雀跃，更加拥护瓦岗军，还踊跃参军，瓦岗军的规模更加大了。

洛口仓就像是棋局上一枚关键的棋子，隋朝失掉了这枚棋子，也就被撼动了全局。此后，东都洛阳不仅失去了战略价值巨大的周边屏障，而且失去了主要的粮食供应，陷入一片恐慌之中。

留守洛阳的越王杨侗数次发兵，企图夺回洛口仓，都被李密打败了。

李密连续几个大手笔，大捷不断，对瓦岗军贡献巨大，声望水涨船高。翟让不得不承认自己的能力和作用都比不上李密，便将领导权让给了李密。瓦岗群雄也公推李密为新主。李密自称“魏公”，建元“永平”，草创了一个政权。中原地区的中小义军闻讯，纷纷赶来归附。瓦岗军迅速扩张到数十万人，后来居上，成为隋末农民大起义中势力最强大的一支义军。

李密建立政权后，分别夺取了河南、山东等地州县，同时发兵进攻东都洛阳。东都洛阳是隋朝后期事实上的首都，就像皇冠上的明珠，有志于天下的李密对它志在必得。隋朝不敢怠慢，调集中原地区能够调集的残余力量，组织洛阳保卫战。于是，在以洛阳为中心的中原广大地区中，最大的起义武装和隋王朝残存的主力部队展开了鏖战。

远在江南的杨广爱江都，也爱洛阳。他担心中原隋军力量不够，生怕洛阳失陷，决心抽点东南的隋朝精锐部队，增援洛阳。杨广环顾身边重臣，已经无将可派了，苦恼之间突然想起一个人来。

这个人就是杨广相当欣赏、关系飞速升温的江都通守王世充。

王世充以搜刮民脂民膏、讨好杨广而进入隋朝权力核心，但他也不是一无所能。他利口善辩，喜好兵法，对隋朝的法律特别感兴趣，而且政治经验丰富。所以杨广考虑再三，把隋朝最后的精锐部队和防守洛阳的重任都托付给了他。

王世充果然不负厚望，率领江淮劲卒五万人，日夜兼程赶赴洛阳。李密率军迎头而上，与王世充战成一团。王世充竟然遏制住了李密旺盛的势头，连挫瓦岗军。两军进入了对峙状态。但战场的主动权还牢固掌握在瓦岗军的手中，瓦岗军依然拥兵数十万，占领中原多数地区。

李密遭到王世充的阻击后，为了振奋士气，打击隋军，公布了洋洋洒洒的《讨杨广檄文》，给杨广列了十大罪状，号召天下推翻隋朝统治。李密给杨广列的十大罪分别是：弑父、**、嗜酒、劳民、滥赋、兴役、征辽、滥诛、卖官、无信。他慷慨高呼：“有一于此，未或不亡。况四维不张，三灵总瘁，无小无大，愚夫愚妇，共识殷亡，咸知夏灭。”最后，他还说杨广是“罄南山之竹，书罪未穷；决东海之波，流恶难尽”。《讨杨广檄文》果然振奋人心，还产生了一个新成语“罄竹难书”，专门形容杨广犯下的重罪。

正当形势一片大好，鼎盛的瓦岗军发生了内讧，领导集团之间的矛盾激化了。

李密出身隋朝的世袭贵族家族，这样的身份很容易得到有意投靠农民军、另谋出路的隋朝官僚势力的认同。随着李密掌控了瓦岗军，大批隋军投降于他，许多隋朝官吏和将领也赶来依附李密。这就在李密的身边形成了一个带有浓厚官僚色彩的势力集团，他们与翟让领导的农民将领之间的矛盾越来越尖锐。双方在处理隋朝降官和俘虏、分配军需和战利品等问题上的分歧越来越大。这时，翟让的属下王儒信便劝他总领众务，夺回最高领导权。翟让的哥哥翟宽也劝道：“天子只能自己做，怎么能让给他人呢？如果你不想做，我来干。”然而，翟让始终犹豫不决，下不了决心。

李密听到有关翟让集团的传言后，产生了除掉翟让的念头。

一天，翟让带着几百个兄弟到李密那里欢宴。李密摆出好酒好菜，招待得很周到，并将翟让带来的兄弟们分别安置到各个房间里吃饭喝酒。同时李密也调来亲信，严密守住各门。翟让在大厅饮宴，对危险毫无察觉。酒过三巡，李密告诉翟让最近得到一张好弓，想让翟让欣赏一下。弓拿过来后，翟让一看，果然是张好弓，忍不住就拉弓张弦，把玩起来。这时，李密向站在大厅里伺候的亲信蔡建使了一个眼色。蔡建会意，立即抽出佩刀，从头面一刀劈了翟让。顿时鲜血四溅，翟让当即扑倒在地，死了。

大厅中的刺杀行动转瞬而成，在其他房间的翟让亲信们都不知道。接着，李密从容不迫地指挥将士杀入各房，将与翟宽一同来赴宴的人送入黄泉。徐世勣是最早跟随翟让的武将之一，他在混乱中也被乱刀砍成重伤，奄奄一息。李密及时制止了部下伤害徐世勣，保全了他的性命。随行而来的单雄信等人叩头求饶，也得到了李密的宽恕。

解决完家里的翟让党羽，李密全副戎装，率领数百内军杀入翟让的军营。王伯当、邴元真、单雄信等在营中告知将士们翟让已经死了，劝诸军投降。见此，翟让的部属不敢轻举妄动，都纷纷投降。

李密有政治手腕，治军也很有一套。每次打仗，他都身先士卒，战后得到的金银珠宝也都分给手下将士，在军队中的名声很好。而翟让为人粗暴，头脑简单，他和哥哥翟宽两个人常常侮辱、虐待那些亲近李密的将士。可见，瓦岗军的将士们最终选择李密，接受李密诛杀翟让的现实，不能说与两人的性格秉性没有关系。

李密吞并了翟让的部队后，仍然放手由翟让的老部将徐世勣、单雄信、王伯当等人率领旧部。而李密的身边，则有程咬金（此时已改名为程知节）、秦叔宝等人。秦叔宝是山东历城人，原本在张须陀帐下南征北战，是隋军的勇将。张须陀败亡后，秦叔宝辗转随同隋军投降了李密。李密挑选了八千名忠诚的勇士，组成了“内军”作为直属部队，防备突发事件。“内军”分为左右两队，分别由程咬金和秦叔宝率领，只听从李密的命令。李密对这支装备精良、勇猛顽强的内军非常满意，常说：“此八千人可当百万。”

李密整合瓦岗军后，继续猛攻洛阳地区。当年杨玄感反隋时，最初的发展情形与李密的瓦岗军类似。李密作为杨玄感的谋主，提出了上、中、下三策，其中的下策就是围攻洛阳。现在李密转换到了杨玄感的位子，令人费解地也选择了围攻洛阳。有谋士建议李密充分发挥瓦岗军兵强马壮而隋朝分崩离析的有利条件，分兵占领江淮、河北等地，或者西入关中，占领隋朝的首都大兴。李密都没有采纳，就要耗在洛阳。

洛阳城不好攻——这一点杨玄感用血的代价证明了，李密偏偏要重蹈覆辙，结果和王世充的部队前后交战上百次。尽管瓦岗军一点一点地压缩了隋军的地盘，但离胜利相当遥远。李密占领洛阳郊区后，修缮了魏晋时期的金墉古城作为大本营，屯兵三十多万，做长久之计。

王世充不敢懈怠，收集中原隋朝军力，到处阻击瓦岗军。瓦岗军牵制并消耗了隋朝残余的有生力量。

洛阳城就像绞肉机一样，把双方的时间和生命都绞了进来。