李密出身于贵族家庭，曾祖父为西魏八柱国将军之一，祖父为北周的刑国公，父亲为隋朝上柱国，是真正的四代三公世家。年少的时候，李密就在宫廷当任侍卫。那时的他是一个好奇、活泼的少年，皇宫多奇珍异宝，所以李密在值班的时候没能做到专心致志。隋炀帝发现后认为他没出息，连侍卫都当不好，更别说担当重任了，就把他革职了。