在隋炀帝匆往江都之时，全国范围的民众起义已方兴未艾，不仅有农民起义，而且有地主起兵。各路义军在反隋暴政的斗争中逐渐组合成几支大的联盟，合力抗击官军，并不断取得胜利。
大业十二年(616)八月乙巳(二十一日),有恒山(今河北正定县南)赵万海率河北义军“众数十万”攻打高阳(今河北定县)。
九月，东海(治今江苏连云港)杜扬州、沈觅敌等又聚众数万，隋炀帝派陈棱将其击败。十二月癸未(初一),鄱阳人操天成(又名操师乞)举兵，自号元兴王，建元始兴，攻陷豫章郡(治今江西南昌),任其同乡林士弘为大将军，四出略地。隋炀帝诏治书侍御史刘子翊率军进剿，战斗中操天成中流矢阵亡，部众转由林士弘统领，与官军再战于彭蠡湖(今鄱阳湖),结果刘子翊兵败被杀。林士弘兵众迅速增到十余万人，声势大振，向南占领虔州(今江西赣州),自称“南越王”。十二月壬辰(初十),林士弘自称皇帝，国号楚，建元太平，地方豪杰争杀隋郡县守令，开城响应林士弘。
在河北地区，农民军郝孝德、孙宣雅、高士达、张金称、杨公卿、时秀康、魏刁儿等部四处攻打郡县，隋将帅相继败亡，隋炀帝乃令太仆卿杨义臣率重兵进剿俘张金称，张金称视死如归，大义凛然， “未死间，歌讴不辍”,表现了农民的英雄气概。
隋炀帝又从南方调来王世充，攻灭河北义军格谦。沧州盐户高开道为格谦部将，有勇力，乃收集余部继续造反先后攻占北平(治今河北卢龙)、渔阳(今北京市)二郡，称燕王，建亢，署置百官，按照传统王朝模式建立了大燕政权。
经过战火磨炼，窦建德在河北农民起义军中脱颖而出，成为河北义军领袖。和其他农民武装不同，窦建德俘获隋官吏及士族子弟皆不杀，而是善遇优待，于是不少隋郡县官以城降附地，使窦建德声势日盛，胜兵十余万人，互高开道的燕政权同为河北农民重要力量。
正当用人之际，隋炀帝最亲信的将领宇文述在大业十二年(616)十月己丑(初六)在江都病逝，这使杨义臣、王世充等后辈成为隋炀帝所倚重的将领。
但是，当杨义臣破除河北张金称、高士达农民军数十万，列状告捷时，隋炀帝于是急派人追使者，令杨义臣解散士伍，使河北农民起义军得到喘息，不久复盛。
萎靡不振的隋炀帝，在江都生活十分糜烂，他对治国平天下的圣王之业已彻底丧失了信心，于是颇思享乐。由于隋炀帝此次巡幸江都所带东都宫女不多，王世充又密“简阅江淮民间美女献之，由是益有宠，王世充竟由此一跃而为隋炀帝信用的重臣。这样，江都宫中的隋炀帝已成了典型的昏暴之君，和大业初年的有为之主简直判若两人。江都朝廷中的大臣也多是奸佞小人，不求匡救补正，反而助纣为虐，使一度辉煌的强盛王朝成为不可救药的腐朽政权，灭亡在即。
就在隋炀帝避居江都之后一年时间内，各地反隋起义形成最**，农民起义风起云涌，地主贵族也相继起兵，社会各阶层都打起了反叛旗号，全社会都起来造反，隋朝统治已处在风雨飘摇之中了。
隋炀帝这时已成为与万民对立的“一夫”,成为独夫民贼，招致天下之人、社会各阶层的一致声讨。隋炀帝拥有无限权力，没有任何权力主体可以制约他运用手中的权力，他自以为可用权力调动一切，创造一切，而绝不克制自己半点， “思逞无厌之欲”,除谏以掩过，把自己置于千百万人民的对立面，甚至不考虑本统治集团的利益，而要逞一己之欲。他不承认自己有错，不肯罪己，而要一味蛮干下去。“教绝四维，刑参五虐”, “百姓无辜，咸受屠戮，黎庶愤怨，天下土崩”。隋炀帝的倒行逆施只能加剧人民的反抗，到大业十三年(617),农民起义在全国范围内形成了以翟让和李密领导的瓦岗军，窦建德领导的河北义军，杜伏威和辅公柘领导的江淮义军三大主力，隋末农民起义进入了直接推翻隋炀帝暴政的阶段。
这时隋统治集团内部的分裂也在加剧，隋炀帝的倒行逆施也危害了统治集团自身的根本利益，连关陇勋贵也深表不满，走到了隋炀帝的对立面，举起义旗加入反暴政行列。除前文说过的杨玄感、李密这样的关陇大贵族之外，还有南朝贵族孑遗的萧铣和江南大族沈法兴，也有罗艺、梁师都、李轨、刘武周、薛举这样的隋中下级军官以及翟让、魏征之类的下级小官吏。另外，刘元进、单雄信、徐世劫等不任官的地主豪强及少数民族酋领如岭南土著洗夫人的孙子冯盎，其同族的高梁通守洗环彻等，也举兵反隋。统治阶级与被统治阶级的大多数人为反暴政而统一行动，都把矛头对准了独夫民贼隋炀帝一人。
据统计，隋末地主起兵的有：关中一带有平阳公主、李通神、段纶(段文振之子)、何潘仁、李仲文、向善志、丘师利、孙华、祝海山、梁师都、刘灵、白玄度、郭子和等十三起；岭南一带有冯盎、李袭志、
洗琼彻、邓文进、宁长真、宁道明、李光度、冯暄、姜子路、卢南等十起；江淮三吴一带有刘元进、沈法兴、朱燮、管崇、薛士通、闻人嗣安、乐伯通、汪华、刘孝真、尤龛等十起；中原地区有杨玄感、刘霸道、卢祖尚、徐师仁、韩相国、程知节、刘兰、苏邕、邓同颖、高季辅等十起；河西陇右一带有李轨、薛举、张护、王广等四起；剑南(四川)一带有萧阇提、冉安昌、王摩沙、张大智等四起；两湖地区有萧铣、朱粲、周法明、邓士政等四起；河东地区有李渊、刘武昌、吕崇茂等三起；河北有罗艺一起；东北亦有石世则一起；合计六十起。被确认为农民军的有一百二十起。
到大业十三年(617)五月，李渊、李世民父子在太原起兵，迅速袭占京师长安，隋王朝的土崩瓦解进入了倒计时阶段。