其实，李渊早就有了反意，只是他心思缜密，一直在等待一个合适的时机。而眼下刘武周起事，进攻汾阳宫。李渊随即号召部将道：“如今我任太原留守，汾阳宫自然也属于我的管辖范围。如今汾阳宫受袭，如果我无法击退敌兵，那么必然是死罪。可是如此大规模出兵应该先禀明陛下，只是陛下现在在江都，来去之间恐怕耽误时间，此事该如何是好呢？”众将领答道：“如此军国要事，您可以自己决定，无须上报。”李渊一听此话，随即招兵买马，很快就召集了一万多人。

王威与高君雅一看李渊的举动就知道他是借机造反，于是便提议让他前去晋祠求雨，并趁机埋伏捉拿李渊。谁知李渊早就洞悉了他们的心思，抢先下手。李渊怂恿开阳府司马刘政会诬陷王威和高君雅造反，先一步抓了他们。正好过了几日，突厥兴兵来犯，李渊随即在军里公告：“有人揭发王威和高君雅私通突厥，如此看来，确实是真的。”说完便将两人给杀了。

公元617年六月，李渊祭旗(1)起兵，正式打响兴唐灭隋的战火。与此同时，他还派人前去突厥议和，表示愿与突厥结为盟友，并请求突厥派兵一同伐隋。如此一来，李渊的声势愈发壮大起来。此后，他又招兵买马，制造弓箭，努力增强自己的武力。