李渊其人“素怀济世之略，有经纶天下之心”。他老沉持重，满腹韬略，而富于策略手段。

为了激发民众反隋情绪以便起兵，李渊先指使刘文静伪造隋炀帝诏令：“发太原、西河、雁门、马邑人年二十已上，五十已下悉为兵，期以岁暮集涿郡，将伐辽东。”这一招效果极佳，立即“人情大扰，思乱者益众”。这就为李渊乱中起兵创造了极为有利的条件。

由于刘武周引突厥兵进逼太原，又为李渊聚集兵众提供了借口，李渊即以讨伐刘武周为名，自行募兵。太原副留守王威和高君雅迫于危险的时局，及隋炀帝遥远无法请示，认为李渊“地兼亲贵，同国休戚”,也就没有提出异议，李渊迅速募得私兵万余人。他又遣使者召滞留在河北的儿子李建成、李元吉赴太原，共举大事，并派人往长安观觇动静。

然而，王威、高君雅既受隋炀帝委派，负有监视和牵制李渊的使命，李渊矫诏聚兵的举动，自然最终躲不过二人的眼睛，特别是矫诏事关重大，终于暴露。于是二人便暗中策划用晋祠祈雨大会，诱杀李渊，却又被乡长刘世龙探知告发，李渊于是决定先发制人，在大业十三年(617)五月癸亥(十四日)诛杀了王威、高君雅两个副留守，控制了太原城。

李渊公开举起了义旗，但老谋深算的他并没有打出反隋旗号。他的目标是以太原为基地，尽快乘虚入关，袭占长安，号令天下，取杨隋而代之，化家为国。六月己卯(初一),李建成、李元吉兄弟赶到太原。

李渊向附近郡县传檄，唯西河郡(治今山西汾阳县)丞高德儒不从命，六月甲申(初五),李渊派李建成、李世民率兵围攻西河，二公子身先士卒，不日将城攻拔，逮高德儒于军门。二位公子往返共九天回到太原，对此，李渊十分高兴，于是定计袭夺关中。这时辽山县令高斌廉已遣使间行往江都，向隋炀帝奏告李渊叛变，隋炀帝得讯又气又惧，乃敕东都、西京“严为备御”。

六月癸巳(十四日),李渊建大将军府，以世子李建成为陇西公，左领军大都督，指挥左三统军；李世民为敦煌公，右领军大都督，指挥右三统军，各置官属。与此同时，他又开仓济贫，大量募兵，扩充军队。李渊没有像刘武周、梁师都那样急于称帝，其初创的政权维持在很小的规模，以避早已兴起的各路豪杰的锋芒。但李渊的志向却最大，要直入京师夺取隋政权。突厥始毕可汗同意发兵送李渊入关，兵马“多少随所欲”,并派其柱国康鞘利送马千匹，李渊派刘文静随康鞘利北还出使突厥，却没有让突厥派大兵，仅藉以为声势，以免后患。

时李密已是反隋各路豪杰的盟主，兵力强大。于是李渊先以书信与李密联系。李密见书后很是高兴，以反隋盟主的身份拉李渊入伙，共同推翻隋炀帝暴政。且希望李渊亲往河内而结盟约。但狡猾的李渊考虑的不是聚义诛灭暴隋，而是乘虚入关争夺帝位。

七月壬子(初四),李渊以李元吉为镇北大将军，太原留守，委以军政事务。癸丑(初五),李渊点集兵将三万人，于军门仗白旗誓师，并移檄郡县，告之以尊立代王杨侑之意，率军向关中讲发。在楼烦的西突厥酋领阿史那大奈也率众从征。

壬戌(十四日),进军至贾胡堡，距霍邑(今山西霍县)五十余里，京师代王杨侑派虎牙郎将宋老生率精兵两万屯霍邑，左武候大将军屈突通屯军河东(今山西永济县境)以拒李渊。八月辛已(初二),李渊父子诱霍邑宋老生出城，自早至晚混战一场，斩宋老生，攻占霍邑。接着又经临汾，下绛郡(治今山西新绛县),癸巳(十五日),到达龙门。李渊认为抢占关中事不宜迟，时间一刻也不能耽误，于是派兵监视河东郡城屈突通部隋军，主力南下直取永丰仓(今陕西华阴县东北渭河口)。

时关中农民起义军以冯翊(今陕西大荔县)孙华最强，丙申(十八日),李渊在汾阴(今山西万荣县西南)以书招孙华，孙华亲自渡河来见，愿意归附，被任为左光禄大夫，随行其他人也都得到封赏，农民起义军的加入使李渊的军事力量迅速壮大，李渊于是让他们打头阵。接着，李渊派刘弘基、阿史那大奈率六千军渡河，营于河西，屈突通派将桑显和来袭，被打败，自后屈突通据河东城不敢出战，李渊绕过河东城攻占了永丰仓，隋冯翊太守萧造、华阴县令李孝常相继投降。李渊进驻朝邑(今陕西大荔东南)的长春宫，时“三秦士庶，衣冠子弟，郡县长吏、豪强、弟兄老幼相携来者如市”。

李渊于是派李建成、刘文静、王长谐率左路军数万屯永丰仓，扼守潼关，拒河东屈突通。又派李世民、刘弘基、长孙顺行等率右路军数万尽速西取长安。其时长安附近李渊的女儿平阳公主和从弟李神通也各拉起了一支队伍，麾下有众七万余人，频频击败京师官军。李渊还有一个女婿叫段纶，乃段文振之子，也在蓝田聚众万人响应李渊。李世民率右路军迂回长安，会合平阳公主等部。

河东屈突通闻李渊西入关中，留鹰扬郎将尧君素为河东通守，自己率兵数万救援长安，被刘文静阻遏。李渊见屈突通无力西援，便命李建成率驻永丰仓左路军主力与自己一同往长安。

十月，李渊来到长安城东门外，集合诸军共二十余万，辛卯(十四日),命诸军围城。时京师留守卫文昇以老病不能视事，不久病死，守将是左翊卫将军阴世师和京兆郡丞骨仪，城内兵力空虚，四处又无救兵，到处是农民起义军。据史载，自从隋炀帝离去后，大兴“皇城诸门皆闭，唯开安上一门，出入皆由之”。义军兵临城下，年仅十三的代王杨侑的地位岌岌可危了。

李渊曾遣使向城内喻以尊隋之意，但未见答复。甲辰(二十七日),李渊命诸军攻城，并约“毋得犯七庙及代王宗室，违者夷三族”。在攻城中孙华中流矢死，战斗打得十分激烈，阴世师“自以世荷隋恩”,又是隋炀帝藩邸之旧，与骨仪婴城据守，并将李渊祖坟宗庙凿毁，以示必死。十一月丙辰(初九),军头雷永吉第一个登上城门，义军蜂拥而上，长安城终于被攻克。

破城时代王杨侑在东宫，左右奔散，唯来自南朝的侍读姚思廉侍侧，李渊将代王迁居大兴殿，自己居于长乐宫，与民约法十二条，废除隋炀帝的一切苛暴法令，下令斩阴世师、骨仪等十余人，其余皆不问。

李渊按原议遥尊表弟杨广为太上皇，正式立元德太子杨昭第三子代王杨侑为帝。改元义宁，并举行了隆重的仪式。

这时，杨侑成了李渊的傀儡。甲子(十七日),李渊学着北周末年杨坚的做法，由长乐宫入大兴殿，让杨侑任自己为“假黄钺、使持节、都督内外诸军事、尚书令、大丞相”,晋封唐王，以武德殿为丞相府，每天在虔化门视事。假黄钺任丞相是自曹操至杨坚以来权臣准备称帝之前的老办法，于是诏军国机务事无大小咸归相府。李渊很快组建了丞相府官属：以裴寂为相府长史，刘文静为司马。十一月己巳(二十二日)以李建成为唐世子，李世民为京兆尹、秦公，李元吉为齐公，至此，李氏政权已初具雏形。

当时李渊仅控制长安渭水一带，关陇局势仍不稳定，仅有榆林、灵武、平凉、安定诸郡遣使请命。而西面割据金城(今甘肃兰州)称帝的薛举也正在东进谋取长安，有众号三十万。当薛举得知李渊已先克定长安，追悔莫及，于是进围扶风(今陕西凤翔)。长安以西的局势相当混乱危急，李渊派李世民率军去迎战，十二月癸巳(十七日),李世民在扶风大破薛举之子薛仁杲军。

东面的刘文静军这时仍在与屈突通部相持。屈突通派桑显和夜袭刘文静军营，刘文静与段志玄苦战，将桑显和击败，屈突通势蹙，又闻长安失陷，家属被虏，乃留桑显和守潼关，自己率众投东都洛阳。但屈突通一离开，桑显和即以潼关降于刘文静，刘文静派桑显和及屈突通之子屈突寿追上屈突通，谕其归降，屈突通出身关陇勋贵，历事隋文帝、隋炀帝两朝， “恩顾甚厚”,其心里还有隋炀帝，于是命左右射其子屈突寿，这时，桑显和即刻出来大喊： “汝辈皆关中人，今京城已陷，去欲何往?”众皆放下武器投降，只剩屈突通单骑一人。屈突通自知不免，于是下马向东南方向远在江都的隋炀帝再拜哭号，哀痛地说： “臣力屈至此，非敢负国，天地神祇实知之!”哭罢引颈就拘，送于长安，李渊优礼有加，任为兵部尚书。

李渊即派屈突通至河东郡(治今山西永济县蒲坂镇)城下招谕尧君素，君素在城上见故主已变节，唏嘘不能自胜，屈突通也泣下沾衿。屈突通先开口说： “事势如此，卿宜早降。”尧君素回答说： “公为国大臣，主上委公以关中，代王付公以社稷，奈何负国生降，乃更为人做说客邪?公所乘马，即代王所赐也，公何面目乘之哉?”说得屈突通满面羞惭，申辩道： “君素，我力屈而来!”尧君素站在城上俯临屈突通，不肯从命投降，说： “方今力犹未屈，何用多言。”屈突通羞愧而退。尧君素忠于隋炀帝，为隋固守河东孤城，但力量有限，构不成对长安的威胁。这样，李渊初步稳定了关中局势。

大业十四年(618)正月丁未(初一),李渊又让杨侑“诏唐王剑履上殿，入朝不趋，赞拜不名，加前后羽葆鼓吹”,这都是权臣篡位前的殊礼。在初步稳定了长安之后，又频出书信招谕诸郡县， “于是东自商洛，南尽巴蜀，郡县长吏及盗贼渠帅，氐、羌酋长，争遣子弟入见请降，有司复书，日以百数”。戊辰(二十二日),唐王李渊令李建成为左元帅，李世民为右元帅，督诸军十余万出关“救东都”,实际上是东出略地。二月己卯(初四),又派太常卿郑题率兵出商洛，徇地南阳；派左领军府司马马元规徇地安睦及荆、襄(今湖北地境)。

四月，李建成、李世民率十万大军以“救东都”为名来到洛阳城外，并没有受到东都越王杨侗的欢迎，东都城门紧闭，无法入城，遂扎营于芳华苑，形成对峙局面。李密派军队来骚扰，两军小有战斗，即“各自退去”。李世民认为： “吾新定关中，根本未固，虽得东都，不能守也。”于是，李渊把军队调回关中，用以巩固后方，这是把围困东都的艰巨任务，又留给李密了。

从军事形势上看，关中确有其优势，李渊确实比杨玄感、李密高明，抢占了禁兵家眷所在的关中，政治上也处于有利地位。但隋炀帝远游江都，遗失根本，则是出于无奈。急政暴政使人民饿死沟壑，以致人相食，食者不遑易子，不及析骸，真是惨不忍睹，罪莫大焉。人民的反抗使隋炀帝在中原无法立足，逃避江都躲了两年，已是四海鼎沸，天下土崩，独夫民贼灭亡的日子将不期而至了。