中原各地纷纷扰扰之时，隋朝最终的取代者此时还偏居山西一隅，他就是隋朝的世袭贵族——唐国公李渊。

李渊家族源于北魏六镇兵家，显贵于西魏时期，也是一个胡汉民族相融合的家庭。和隋朝开创者杨坚的父亲杨忠被赐姓“普六茹”一样，李渊的祖父李虎也因功劳卓著，曾被北周王朝赐姓“大野”，所以李渊早年也被叫作“大野渊”。同为北周的军事贵族，李渊和杨坚关系密切，不仅是世交，还是亲戚。李渊的母亲独孤氏，与北周明帝的独孤皇后、隋文帝杨坚的独孤皇后是姊妹关系，都是独孤信的女儿。

李渊七岁时，父亲李昞就逝世了，依靠父辈的祖荫，承袭父爵做了唐国公。因为贵族身份，李渊很早就入仕了。在隋朝建立之初，李渊补为千牛备身。隋文帝杨坚在位时，将李渊看作是与自家有世交的“侄子”，又看作是本家的“外甥”，照顾有加。加上李渊和皇子杨勇、杨广等人年纪相仿，李渊和皇室关系密切，在隋朝早期阶段平步青云。如果此时有人说李渊对朝廷怀有二心，想必没有几个人会相信。

杨广即位后，李渊的官运就不太亨通了。据说是因为他过分喜爱自己养的骏马和猎鹰，不肯献给杨广，所以杨广就给自己这个表亲小鞋穿。后来李渊在妻子窦氏的提醒下，开始积极向杨广进献骏马、猎鹰和玩物，官运立即亨通起来，先后任荥阳太守、楼烦太守、殿内少监、卫尉少卿。大业十一年（615），李渊出任山西河东慰抚大使，两年后出任太原留守。虽然算不上是隋朝政坛呼风唤雨的人物，但没人否定李渊是朝廷的显贵，是现有政治体制的既得利益者。

天下烽烟四起时，李渊是以镇压造反者的“正面形象”登上竞技场的。他一开始对各地的农民起义军咬牙切齿，希望谋划得当，扑灭起义。

然而李渊长期处在与起义军作战的第一线，非常清楚起义者已经遍布全国，朝廷已经无力镇压。隋朝大势已去，灭亡是迟早的事情了，李渊不得不为自己的前途考虑。他开始觉得自己没有必要始终坐在隋朝这条船里，跟着杨广一起覆灭。

而接连遭受失败的杨广也变得多疑起来，开始猜忌李渊。杨广一次出巡途中，征召李渊到行宫觐见。李渊称病没有现身，杨广大为不满。当时李渊的外甥女王氏在后宫做妃子，杨广不经意地问她：“你舅父为何不来啊？”王氏说舅父生病了。杨广再问：“李渊的病，能让他死吗？”李渊辗转听到此话，更加恐惧，再也不敢轻易去朝见杨广了。此后，他便以纵酒沉湎、纳贿贪污的表象来掩护保全自己。

形势恶化和个人境遇艰难，让李渊反隋的念头得到了深入发展。

此外，李渊的二儿子李世民也起到了推波助澜的作用。李世民从小经历军旅生涯，聪明的名声远播在外。随父亲守太原时，李世民已经是很有政治眼光和宏大志向的年轻将领。天下群雄并起，隋朝官府处于风雨飘摇之中，李世民敏锐地预料隋朝国运将尽，正是英雄建功立业的大好时机。他充分利用父亲主政太原的有利时机，积极为反隋争霸进行活动。

李世民一边广交英雄豪杰，联络太原县令刘文静、晋阳宫监裴寂，奔走谋划，一边积极招兵买马，准备起事反隋。当时，刘文静因受李密株连，被捕入狱。李世民以探视为名，与他在狱中拟定了招募兵士、西入关中、创立帝业的起兵计划，并通过裴寂将这个计划转告给了李渊。

根据唐朝的史料记载，是李世民劝李渊定下起兵太原的决心。李世民第一次劝父亲李渊说：“今主上无道，百姓困穷，太原城外皆为战场。父亲大人如果只满足于现在的身份地位，那么天下到处是寇盗，朝廷又有严刑峻法，我们随时处于危亡之中。不如顺应民心，起兵举义，转祸为福。这就是所谓的‘天授之时’啊。”李渊一听，大惊失色：“你怎么说出这样的话来，我现在就把你捉到官府去！”话说到这个份儿上，李世民也只好作罢。当然，李渊也没有把他扭送官府。

没几天，李世民第二次去劝李渊造反：“现在盗贼日繁，遍于天下，父亲大人受诏讨贼，现在情况又怎么样了呢？您假若能够讨**群贼，朝廷也会功高不赏，益发身陷危局！父亲如果听从我上次劝您的话，就可以避祸。我说的是万全之策，请父亲大人不要怀疑。”这一回，李渊不像第一次那样坚决拒绝，而是以无可奈何的口吻说：“今日破家亡躯由着你去，化家为国也由着你吧！”

之后，李渊“讨贼不力”，杨广要兴师问罪。李世民乘机第三次规劝李渊：“现在的朝廷是君昏臣乱，父亲尽忠是没有意义的。太原兵马精强，宫监蓄积巨万，如果以太原的资源举事，何患无成！”在李世民的这次劝说下，李渊终于决定在太原起兵。

当然，这些都是唐朝初期李世民修订的历史的说法，如果李渊没有早存不臣反叛之心，如果李渊没有利用身份暗中进行准备，那么后来的太原起兵最终不会付诸实施。

还有一段流传很广的故事，似乎可以说明李渊是自动走上反隋道路的。传说晋阳宫监裴寂和李渊交好，往来甚密。裴寂为了前途，早想投靠新主子了。可他是个太监，唯一可行的办法就是扶立新天子。他看中了李渊的潜力，决定激发李渊反隋。一次，裴寂请李渊饮酒，将他灌醉。之后，他安排杨广留在晋阳宫的妃子和宫女为醉酒的李渊侍寝。李渊清醒后，意识到了事情的严重性，担心不已，于是裴寂劝说李渊举事。《新唐书》正式将这个传说记入了正史，还增加了一些情节，说整件事情其实是李世民和裴寂两人的谋划。事后，裴寂劝说李渊举事，李渊在大惊之余还是犹豫不决。在关键时刻，李世民出现在谈话中，敦请父亲反隋。最终，李渊思考之后，点头同意了。

大业十三年（617），马邑郡人、鹰扬府校尉刘武周因为和太守王仁恭的侍女私通，先下手为强，以贪污之名杀死了王仁恭，造反起兵，并自称天子。于是，李渊以讨伐刘武周为名，招兵买马。李渊和二儿子李世民，以及亲信刘文静、长孙顺德、刘弘基等人积极募兵，十余天就聚集了超过一万人的军队。但是李渊并不出兵攻击刘武周，还秘密派人召回在河东的长子李建成和三子李元吉。

太原副留守王威和高君雅都是杨广的亲信，安插在太原监视李渊。两人意识到情况反常，判断李渊极有可能加入造反者的行列，决定除掉李渊。他们假称将在晋祠举办祈雨仪式，请李渊主持，准备暗中埋伏士兵杀掉李渊。不过，王威、高君雅二人的阴谋被知情人向李渊告发了，李渊决定先除去二人。

大业十三年五月某日，李渊找王威、高君雅两人议事。这时，刘文静领着开阳府的司马胙城刘政会赶来，说有密状呈给李渊。所谓的密状，就是刘政会告发王威、高君雅勾结突厥，图谋不轨。李渊当场认为证据确凿，命令将王、高二人拿下正法。王威、高君雅不甘心束手就擒，召唤亲兵随从拔出兵器拒捕。这时，大殿外涌入李世民早已经埋伏好的铁甲精兵，结果没几个回合，王、高二人就被斩首。当时，突厥趁中原大乱，时常入侵中原，太原城外经常出现游**的突厥骑兵。李渊为除去王、高二人找的理由非常自然，其他人也找不出确切的反对证据。

除去两个碍手碍脚的同僚后，李渊开始明目张胆地准备起兵。七月，李渊率军三万在太原誓师，正式起兵。

作为从隋朝阵营中脱离出来的高级贵族，李渊一开始就显露出比一般举事者高明的地方。他不称王不称霸，而是发布了兴兵檄文，宣称自己是替天行道，而不是争权夺利。他斥责杨广听信谗言，杀害忠良，穷兵黩武，致使“荆棘旅于阙廷，豺狼充于道路”，朝政日非，民不聊生。因此，李渊起兵的目的是要废掉昏君，改立明主，拯救万民于水火之中。这样的声明为李渊减轻了许多政治阻力。

同时，李渊制定了明确的目标，那就是直取隋朝的心脏——大兴。李渊不像农民军一样，攻城略地，扩充地盘，也不像杨玄感、李密一样，脑袋发热，聚焦在少数大城市。起兵后，李渊采取了灵活正确的战略，一面派遣刘文静出使突厥，请求突厥可汗派兵马相助，以减轻突厥南下的军事压力，一面招募军队，率师直向大兴行进。

隋西京留守、代王杨侑听说远房亲戚李渊举兵了，派遣虎牙郎将宋老生率精兵两万驻守霍邑（今山西霍县），扼守李渊进军关中的道路。大将屈突通则率领骁果数万，驻守河东郡（今山西永济西南蒲州镇），与宋老生遥相呼应，以拒李渊。

在所有举兵者中，李渊的人员规模最初只能算是中等。从太原到大兴，沿途有数倍于他的隋朝军队。在进军霍邑的途中，李渊遇到了大麻烦。天气骤变，大雨倾盆，军队又缺粮少衣。更严重的是，后方传来了突厥与同为举兵者的刘武周联合，将乘虚偷袭太原。李渊陷入进退两难的境地。

这时，李渊的困境被瓦岗军的首领李密知道了。李密给李渊写了一封信，表示要与李渊“合作”，一起攻打天下。实际上，合作是假，吞并是真。李密的意思是：既然前无去路，后退无所，不如直接把队伍并入瓦岗军。面对李密的试探与威胁，李渊装傻，给李密回了一封肉麻的吹捧信：“天下百姓渴望明君圣主已经很久了，那么传说中的救世主，非您莫属。我非常荣幸，与您同姓。我已经老了，您还年轻，希望以后能得到您的关照。”

李密在金墉城里，尽管没有等到李渊带着队伍前来，却见到了拍马屁的信，也很高兴，还拿着信向部下到处显摆道：“看来李渊只是一个无能之辈，成不了什么大气候。”

话说回来了，逗留霍邑附近的李渊，遇到的麻烦的确很大。他仓促召集将佐开会，决定撤退，先保住太原。他的大儿子李建成和二儿子李世民就劝说，起兵的前途是光明的，困难是暂时的，如果全军撤退回太原，李家最多就只能做一个割据头目。而李家起兵的目的不是割据，而是夺天下。李渊醒悟后马上召回军队，倾注全力猛攻霍邑。不久，后方军粮运到，突厥偷袭太原的消息也被证实是个假情报。

霍邑城池坚固，不是李渊的三万新兵能轻易攻克的。李建成、李世民兄弟俩制定了引宋老生出战，再分兵去偷袭城池的作战方案。宋老生中了激将法，率军出来和李渊决战。混战开始没多久，李渊让军士鼓噪高呼“宋老生已经被杀死了”，隋军闻知大将被杀，全都乱了手脚，四处溃散。等隋军退回霍邑城下，城头早已换上了“李”家旗号。此战，霍邑在李渊军队的猛攻面前失陷，宋老生被杀。

李渊占领霍邑后，厚葬了宋老生，对于想回家的关中士兵，则“授予”五品闲散官衔放回。这些举措不同凡响，赢得了许多隋朝阵营之人的好感。那些拿着路费回家的隋军，添油加醋地把李渊的战功和宽容大度传播到了关中各地，变成了李渊部队的“编外宣传队”。

霍邑失守后，大兴变得无险可守，成为李渊的囊中之物。李渊有如今的乐观局面，显然是抓住了千载难逢的良机。此时，李密领导的瓦岗军正在洛阳与隋朝的主力王世充军激战，关中地区空虚。而河东方向的屈突通部队为了抵御河北各地的农民起义军，不敢西进攻打李渊的军队，反而帮助李渊挡住了其他觊觎关中的起义军过来抢食。

李渊轻松向前推进，一路上不断瓦解农民起义军和收编地主武装，到大兴郊区时已经拥有二十万军队了。

防守大兴的代王杨侑，不过十二三岁。他是早逝太子杨昭之子、杨广之孙，算起来也是李渊表孙子辈的。

杨侑根本就不懂政事，任由城内留守的几个大臣决定守城策略。

留守京师的刑部尚书卫文升和右卫将军阴世师，坚持要在大兴进行防御战，等待关东和其他地区的隋朝救兵到来。两人挟持着杨侑巡视城防，积极备战。怎奈隋朝国势衰弱已久，即使是首善之区的京师也拼凑不了一支雄壮精干的守军。

李渊希望不战而屈人之兵，两次发通牒要求杨侑献城投降。杨侑不置可否，但卫文升、阴世师和京兆郡丞骨仪坚持要固守一战。

两方实力悬殊，大兴孤城很快就被李渊的队伍攻破。十月，李渊胜利占领了隋朝名义上的都城。阴世师、骨仪战死。这时李渊早年的政治经历和官场实践为他充分利用京城的价值提供了帮助，一进城，他就号令三军：“犯隋七庙及宗室者，罪三族。”他们严格做到了这一点，连抵抗的卫文升都被放归家中。如此，城内的隋朝贵族、高官和百姓的心理迅速安定下来。

李渊入城后，仿效汉高祖刘邦当年与关中居民的约法三章，也约法十二条，规定杀人、劫盗、背军、叛者死，同时废除隋朝的严刑峻法和苛捐杂税，等等。大兴城的人们很快安定下来，转而支持带来了新的秩序和制度的李渊了。

众将皆推李渊为尊。李渊起兵仅仅几个月，就成了囊括关中、占据西京的豪强。