大业十三年(617)是多事之秋，隋炀帝避居江都，李密称雄中原，在各地农民起义风起云涌之际，地主豪强官僚贵族也纷纷起兵。贵族官僚起兵目的性十分明确，就是要争夺天下，当皇帝，而其中最引人注目的则是关陇勋贵李渊的太原起兵。
隋炀帝既不能控制天下政局，只能是引致天下英雄竞折腰。在李密大闹中原之时，李渊也坐不住了。李渊的出身背景和李密十分相似，祖父李虎为西魏八柱国之一，属关陇勋贵最高门第，最显赫的贵族之家。
李渊的父亲李晒在北周历官州刺史和总管， "为政清简，甚获当时之誉”,虽无赫赫战功，但袭父爵身份显贵。李渊生于周武帝天和元年
(566),七岁袭祖爵为唐国公，年长后“倜傥豁达，任性真率，宽仁容众”。入隋后补千牛备身，累迁谯州、陇州、岐州三州刺史，官虽不显，但隋文帝后独孤伽罗乃李渊的亲姨妈，皇后对他“特见亲爱”。李渊是隋炀帝的亲表哥，比隋炀帝年长两岁。另外，李渊之妻窦氏还是北周武帝宇文邕的外甥女，岳母是武帝的姐姐襄阳长公主，乃宇文泰之女。据说，周武帝对窦氏“特爱重之，养于宫中”。看来，李渊家族自北周至隋都处在皇亲国戚的地位。
隋炀帝即帝位后，改任大表兄李渊为荥阳、楼烦郡太守，后征入殿内少监。大业九年(613),迁官卫尉少卿。征讨高句丽之役，隋炀帝让表兄在怀远镇(今辽宁新民南)督运粮草。杨玄感发动叛乱，隋炀帝又诏表兄驰驿西镇弘化郡(治今甘肃庆阳县),兼知关右诸军事。李渊以“隋室之近亲”,开始执掌兵权。
时天下已乱，各地农民起义蜂起， “李氏当为天子”的谶言四处流行，隋炀帝“多所猜忌”,借故处死亲外甥女婿李敏，将隋立国第一功臣李穆的后人满门抄斩，使“人怀疑惧”。对于手握重兵的李姓大表兄，隋炀帝亦不能不有所戒心，于是即诏征李渊诣行在所，李渊心惊肉跳不敢即往，借口遇疾未谒，其外甥女王氏时在后宫，隋炀帝问： “汝舅何迟?”王氏以疾对，隋炀帝竟问死得了死不了，李渊“闻之益惧，因纵酒沉湎，纳贿以混其迹”,为保全性命于乱世，皇亲国戚也不得不韬晦。
李渊假作昏庸，实际上却深谋远虑， “有四方之志”。早在隋炀帝举兵攻高句丽，农民起义开始爆发的初期，李渊就有取隋而代之的远谋。当李渊为殿内少监，宇文述之子宇文士及为奉御时，二人即“深自结托”。后武德二年(619)宇文士及投唐，李渊对裴寂说： “此人与我言天下事，至今已六七年，公辈皆在其后。”大约在大业十年(614)杨玄感叛乱时，李渊和隋炀帝的女婿宇文士及就曾“在涿郡，尝夜中密论时事”,密谋推翻隋政权。这也说明当时许多达官贵族都萌生了除暴去恶的念头。但老谋深算的李渊认为时机尚不成熟，故隐忍未发。杨玄感贸然举兵则果然招致灭门之灾。
大业十一年(615),隋炀帝北巡汾阳宫，命表哥李渊往山西、河东黜陟讨捕，因进剿农民起义有功并在突厥围雁门时能领兵勤王，隋炀帝暂时消除了对李渊的猜疑。至大业十二年(616),李渊得迁官右骁卫将军。隋炀帝离开东都巡幸江都之时，又任命李渊为太原留守。并州既是天下精兵所居之处，又地处抗拒突厥的前线，境内农民起义正四处蔓延，对李渊的任命可谓隋炀帝对表哥仍是很信任，这对早就心怀异志的李渊来讲，真是千载难逢的绝好机会。然而隋炀帝猜忌深重，在任李渊留守太原的同时，又任郡丞王威、武车郎将高君雅为副，监视李渊。王威在大业六年(610)曾接替薛世雄戍守伊吾(今新疆哈密东北),是一员虎将。
李渊在太原与马邑太守王仁恭一起“北备边朔”,大业十三年(617)春，突厥的一次入寇，隋军作战失败，隋炀帝三次派来使者要将李渊和王仁恭押送江都，数日后又赦免。这时的李渊“审独夫之运去，知新主之勃兴，密运雄图，未伸龙跃”,审时度势，开始密谋反隋。时名将韩擒虎的外甥马邑郡丞李靖阴察李渊， “知有四方之志”。李密的姻亲晋阳令刘文静也有所察觉，而“深自结托”。文水县木材商人武士獲被李渊引为行军司铠，也“阴劝”李渊举兵，并进“兵书及符瑞”,显然也洞悉李渊所想，故敢畅言。但李渊机警，说： “幸勿多言，兵书禁物，尚能将来，深识雅意，当同富贵耳”。武士獲即闻名于后世的一代女皇武则天的父亲。另有夏侯端、许世绪也都曾直接向李渊进言帝业之事。李渊还积极网罗人才，收纳亡命，逃辽东之役的长孙顺德、刘弘基及犯法在逃的窦琮这时都在李渊处得到保护，养为死士。李渊并让其长子李建成在河东“潜结英俊”,又令次子李世民于晋阳“密招豪友”,两个儿子都“倾财赈施，卑身下士”,故得士庶之心，因而投附者很多。
在李渊未发际之时，已有不少隋地方长吏先发兵反隋了。大业十二年(616)年底，幽州虎贲郎将罗艺杀不同己者， “发库物以赐战士，开仓以赈贫乏”,自称幽州总管，威振边朔，实际上已独立。大业十三年(617)二月壬午(初一),朔方(今内蒙古白城子)鹰扬郎将梁师都阴结徒党据郡反。己丑(初八),马邑(今山西朔县)校尉刘武周举兵起事，斩太守王仁恭，开仓以赈饥民。刘武周自称太守，遣使附于突厥，并与突厥联兵击败隋将王智辩。三月丁卯(十七日),刘武周袭破楼烦郡(今山西静乐),占领隋炀帝修建的汾阳离宫，大获宫女美人，送给突厥始毕可汗。始毕可汗立刘武周为定扬可汗，送以狼头纛。刘武周窃知隋炀帝当年北巡建汾阳离宫意在压“天子气”,于是迫不及待地即皇帝位，立其妻沮氏为皇后，改元天兴，署置百官，引兵围雁门郡(治今山西代县)。郡丞陈孝意遣间使往江都，向隋炀帝求救，成天对着隋炀帝颁给的委任诏敕俯伏流涕，用以感动左右为隋炀帝尽忠，但并无成效，围城百余日被部下张纶斩杀，以城降刘武周。
朔方梁师都起兵后也向西略地，攻占雕阴(治今陕西绥德)、弘化(治今甘肃庆阳)、延安等郡，并称皇帝，国号梁，改元永隆，突厥始毕可汗也送来狼头纛，赐号大度毗伽可汗，于是梁师都引突厥骑兵居河南之地，攻破盐川郡(治今陕西定边)。流放在榆林郡(泊今内蒙古托克托县南)的隋左翊卫郭子和也阴结敢死士杀郡丞反，开郡仓赈施饥民，自称永乐王，改元丑平，署置百官，南连梁师都，北附突厥。时北境各路反隋武装纷纷依附于突厥，现在，又轮到突厥始毕可汗来坐收渔人之利了。始毕可汗以刘武周为定扬天子、梁师都为解事天子、郭子和为平杨天子，其意都在平定杨隋。但郭子和不敢当，于是更号屋利设。又有离石(今山西境内)胡人刘龙儿拥兵数万反隋，自号“刘王”,以其子刘季真为太子，后刘季真北连突厥，自称突利可汗。
面对咄咄逼人之势，太原周围的郡县纷纷造反，刘武周等均为下级军官，李渊乃皇亲国戚，关陇勋贵，身份和地位不一样。是忠于表弟隋炀帝随隋王朝一同灭亡，还是起而造反，取表弟之位而代之，这是一场生与死的抉择。时天下英雄并起，绝不能等闲坐视，李渊懂得“主昏国乱，尽忠无益”,必须为自己寻找新的出路。
五月，李渊勾结晋阳宫监裴寂，勇敢地住进离宫，把隋炀帝留下幽居多年的美人宫女占为己有，这是犯杀头之罪，实际上也是向隋炀帝皇权发出挑战，反隋起义的条件成熟了。
晋阳起兵的首谋毫无疑问是李渊，这个老谋深算的显贵早就有“四方之志”,从他给两个儿子的取名就可看出，长子李建成，是建功成业之意；次子李世民是济世安民之意，由此亦可见李渊的政治抱负。李渊以儿子李建成、李世民、李元吉以及追随他的刘文静、裴寂等人，组成密谋集团，从大业十二年(616)底开始部署，大业十三年(617)五月正式发难，经过了半年的精心策划和准备。时李密领导的瓦岗军围攻东都战斗正酣，隋军主力被各地农民军牵制，李渊“视天下之分崩，有可乘之机，以远祸而徼福”,起兵反隋，使历史出现了新的转折。