革职回家的李密并没有沮丧懊恼，而是决心发奋读书，做一个有学识的人。有一次，李密骑牛出门去看望好友。为了能多看点书，多积累知识，他就把《汉书》挂在牛角上。这件事被传颂开来，成为一段佳话。

杨素见李密读书十分勤奋，就回到府中告知儿子杨玄感，杨玄感便有意与李密交心密谈。后来杨玄感对隋朝不满，并于公元613年起义反隋。杨玄感起兵后，李密前来相助，杨玄感十分高兴，就把李密当作主事之一。

杨玄感向李密问计策，李密告诉杨玄感，他有上、中、下三计可供杨玄感选择。

上策，隋皇帝出征远于辽水，距幽州隔千里之遥，此间南面大海，北有胡兵，中间只有一条道路，十分艰险。现在你手握重兵，可以直入蓟州，取隋军咽喉重地。那时隋军前有高句丽，后无退路，不用多日，等其粮草用尽必定内乱。到时只要招揽其部下，便能不战而胜。

中策，关中有天府之国，虽有卫文升把守，但不必担心。先带领兵将轻装越过其他城，早日到达关中。隋帝返回都城的时候便失去了天然壁垒，我们占据关中险要之地，易守难攻，一定能战胜他。

下策就是就近攻打，先攻洛阳，守将必定告诉皇帝，他们定会坚守，拖延时间后便胜负难分了。

不过杨玄感觉得下策才是上策，便采用了下策。

杨玄感手握重兵到达洛阳，取得了接连的胜利，便认为天下百姓都响应他的号召，大事可成了。他俘获韦福嗣，对其委以重任，军队要务都交给了韦福嗣，李密遭到冷落。但是李密却发现，韦福嗣并没有忠心于杨玄感。李密告诉杨玄感，要杨玄感果断杀了韦福嗣。然而杨玄感并不相信李密，觉得事情没那么严重，便让韦福嗣逃跑了。

杨玄感被围攻，李密献计用反间计：宣扬主帅与你同谋，蒙骗其部下，你就可以借此入关。途中，杨玄感想要围攻弘农宫，李密劝说：“你现在是蒙骗别人而入关的，兵贵神速，攻打会拖延时间；如果攻打失败，后有追兵，那就后患无穷了。”但是杨玄感不听，结果追兵赶到，杨玄感就这样败了。