大业十二年（616）七月，杨广第三次与江都亲密接触。

刚到江都不久，杨广的老臣宇文述就一病不起，病情日益严重。宇文述从北周时期就开始征战，在杨广时期则把持朝政，临死前放心不下的竟是几个儿子。小儿子宇文士及娶了杨广的女儿南阳公主，封尚辇奉御，为人老实，宇文述没有什么好担心的。另外两个儿子宇文化及、宇文智及，是标准的纨绔子弟，从小生活在特权中，曾在为官时因犯罪被削职为民，待在家里无所事事。宇文述就向杨广请求说：“臣的长子宇文化及是臣的继承人，希望陛下多多哀怜他。”杨广闻后，潸然泪下。

到了十月，宇文述去世。杨广为之罢朝，追赠司徒、尚书令、十郡太守，谥号“恭”。杨广令黄门侍郎裴矩为宇文述祭祀，鸿胪监护丧事，又任命宇文化及为右屯卫将军，宇文智及为将作少监。然而，后来也正是宇文化及弑杀了杨广，命运可谓奇妙。

不管怎样，对于当时的杨广来说，宇文述的死意味着从他年轻时就一直见证他成长和辉煌的老人离开了。从此，再也没有人对杨广的辉煌过去有亲身体验，能够详细描述了。

杨广这次三游江都，美丽的昙花仿佛也失去了往日的魅力。这不仅是因为宇文述的亡故，还因为他刚到江都，中原就遍地民变，继而全国大乱。史载：“普天之下，莫非仇雠，左右之人，皆为敌国。”杨广在江都很快就陷入了困境。

此时，杨广早已经没有继位之初开创盛世、建功立业的雄心了，他只想保住性命，偏安一隅，继续做他的皇帝。

上天不遂人愿。时间进入大业十三年（617），局势急速恶化。正月，窦建德在河北当起了长乐王。二月，割据朔方郡的梁师都见有人称王了，就勾结东突厥汗国，攻陷陕北诸郡，做起了皇帝，自称“梁帝”。而攻陷洛口仓的李密比较“谦虚”，不称王也不称帝，在中原各路反王的公推之下，做起了“魏公”。四月，陇西的薛举自封“西秦霸王”，攻城略地。有读书人提醒薛举，“霸王”二字太过粗野，薛举觉得有道理，也做起了皇帝，称“秦帝”。再往西，李轨占领河西走廊，自称“凉王”，重新割断了中原与西域的交通。七月，杨广的远房亲戚李渊在太原起兵南下，大大出乎杨广的意料之外。等到十月，李渊占领首都大兴城。很快又传来消息，隋朝的武阳郡丞元宝藏向李密献城投降，李密进而攻陷了黎阳仓。隋王朝的政府囤粮全部成了起义者的军粮。

江南一带也不安宁。杜伏威侵扰江淮各州县，势力日趋强大；李子通游**在长江下游，威胁江都。在长江中游，西梁后裔、罗川县县令萧铣此时以“光复梁朝”为名，也宣布起事！

萧铣是西梁宣帝萧詧的曾孙，父亲为隋文帝杨坚所杀。萧铣从小孤苦贫困，以卖书为生，与母亲相依为命。杨广念他是萧皇后亲属，以外戚之恩提拔为县令，没想到萧铣也造反了。当时，两湖地区农民起义军纷纷攘攘，苦于缺乏号召力、缺乏领袖，便公推萧铣为主。萧铣在罗川县起事，以梁朝正朔自居，迅速攻陷两湖各地，称帝重建“梁国”，一切规章制度以南北朝时期的梁朝为准。复辟的梁朝占据了北到汉江、南至岭南、东达九江、西至三峡的广大地区，先后以岳阳、江陵为首都。

噩耗连连，杨广深受打击，再也不愿意看到新的噩耗，也就不再处理政务了。他被迫承认隋朝大势已去。无可奈何之际，杨广经常自我安慰，用荒**无耻的举动麻痹自己。他在江都行宫中新建了上百间房舍，间间铺陈华丽，选一个美人居住其中。杨广和她们玩“过家家游戏”，带着萧皇后装作客人，每天去不同的美人屋中作客。他昼夜与众姬妾东游西宴，酒杯不离口。有时，杨广戴幞巾、着短衣、持竹杖，装扮成文人模样，步游各宫各院，直到深夜秉烛而归。深夜上床后，杨广也难以安睡，犯上了严重的失眠，即使勉强入睡，梦中也常惊呼有贼，需要宫女像哄孩子那样摇抚、哄着才能入睡。

杨广相貌英俊，是一个美男子。有一次，他拿起镜子，端详半天，回头对萧皇后说：“如此好头颅，谁来砍之？”萧皇后闻言大惊，问皇上何出此言。杨广苦笑着说：“贵贱苦乐，更迭为之，人间常态，无须悲伤！”表面上杨广把生死祸福都看淡了，私下里他却已经做好了最坏的打算，对萧皇后说：“隋朝国祚已绝，但即使亡国了，我也还能做个长城公（陈叔宝降隋后被封为长城公），你也还能学学沈后（陈叔宝的皇后沈氏在隋朝受到优待）。我们一切顺其自然，及时行乐吧！”

杨广扬言不再处理政务了，但天下越乱，政务就越多。地方州县和前线将领的告急求援文书如雪片一般飞来江都。

所有的坏消息到了掌管奏章和机要的虞世基那里，都被压了下来。杨广有时问起天下剿匪的情况，虞世基只轻描淡写地说：“鼠窃狗盗，不久就会被郡县捕灭，陛下无须担心。”前线将领杨义臣一次奏报说消灭并招降了河北农民军数十万人，虞世基看了，觉得是个好消息，就把奏章呈给了杨广。不想杨广看了以后，叹息道：“我一直不知道造反者的人数，想不到仅河北一地就有数十万之多！”虞世基一看坏了，忙说：“其中多数是一些小偷小摸之人，数量虽多，未足为虑。反而杨义臣拥兵在外，专权日久，恐怕生变，皇上要多加注意。”杨广信以为真，竟然下诏解散杨义臣的部队，勒令士兵回家务农。结果，那些散兵游勇转眼就加入农民军了，反而助长了起义者的声势。

萧皇后把一切都看在眼里，也劝宫人们不要向杨广说实话。她说：“天下事已至于此，无可救药，多说无益。多说话，只能让皇帝担忧而已！”

杨广的江都生活笼罩在一片虚无之中。一度，他想起用随行同来江都的苏威，让其恢复官职，主持朝政，但裴蕴、虞世基等人赶紧奏称苏威昏耄羸疾，不堪再用。杨广也没有坚持。已经是一介平民的苏威被杨广带来江都，但受到虞世基等人的排斥，情绪日渐消沉下去。祸不单行，苏威的夫人在他随行江都不久之后死于洛阳，儿子苏夔思念母亲，悲伤过度而死。苏威内心的悲苦可以想见。

关于起义军的消息，虞世基总是扣压下来，但是有一个消息，不能不报告杨广。

大业十三年（617）十一月十六日，占领大兴城的李渊把俘虏代王杨侑捧了出来，立为皇帝，遥尊杨广为太上皇。也就是说，杨广在法律上已经不再是隋朝的皇帝了！

李渊想当皇帝，但他也清楚自己和皇帝宝座还是有距离的。虽然占领了隋朝的都城，并不意味着占领了天下。占领大兴城后，代王杨侑还躲藏在王府中。李渊便把他抬了出来，尊为名义上的皇帝。于是，杨侑在曾祖父建造的大兴殿即皇帝位，遥尊远在扬州的祖父杨广为太上皇，改元义宁。大业十三年也就变成了义宁元年。

李渊立杨侑为天子是个狠招，最大限度地利用了手中的优质资源，一下子就取消了杨广的正统性，占据了最高的法统地位。他又以杨侑的名义任命自己为大都督、尚书令兼大丞相，爵位从唐国公晋封为唐王，综理朝廷万机。此外，他的长子李建成被封为唐王世子，次子李世民被封为秦王，三子李元吉被封为齐王。

消息传到江都，人心惶惶。原本大家还可以搬出王朝正统聊以**，没想到身份顷刻就转变了。

李渊站稳脚跟后，开始扩张地盘，向南攻取四川，向东消灭关中附近的隋朝残余势力。当时，杨广的亲信大将屈突通，受杨广之托率领隋军精锐镇守关中，现在还屯兵关中东部一带。屈突通部队夹在李密、窦建德、李渊三方势力之间，处境窘迫。有部下劝屈突通投降其中一方，屈突通大骂：“我蒙国重恩，历事两主，受朝廷厚禄，怎么能不赴难杀敌？今日之势，唯死而已！”屈突通的家眷都在大兴，成了李渊的俘虏。李渊派屈家的家童去招降屈突通，屈突通当场杀死家童。思前想后，屈突通留下部将桑显和镇守潼关，阻挠李渊东出，自己率主力向洛阳靠近，准备和王世充合兵一处。然而，屈突通刚走，桑显和就献出潼关，投降李渊了。

屈突通的大军失去掩护，完全暴露在李渊追兵的攻击之下。不久，其在稠桑（今河南灵宝北的黄河南岸）被唐军围攻。唐将窦琮派屈突通的儿子屈突寿去劝降。屈突通骂道：“往日，我和你是父子；今日，我和你是仇敌。”边骂边命左右射死儿子。跟随唐军而来的桑显和想出一个办法，冲着屈突通的部队现身说法：“京师已经沦陷了，你们大家都是关中人，想要去哪里？”隋军也不想背井离乡，听闻此言，纷纷扔掉兵器投降。屈突通知道大势已去，下马向江都跪地磕头，号哭道：“臣力屈兵败，不负陛下。天地神明，为我作证。”最终，屈突通被捉住，押送大兴。关中的隋军主力就此覆亡了。

李渊见到屈突通，劈头就问：“为何相见如此之晚？”屈突通哭道：“我不能尽人臣之节，力屈而至，是本朝的耻辱，愧对代王。”李渊对他的忠君行为很赞赏，评价屈突通是“隋室忠臣”，当场释放，封为蒋国公，任命为兵部尚书，协助秦王李世民行军打仗。最终，屈突通还是转换了阵营。

局势越来越乱，杨广的命令在北方越来越没有效力了。杨广也就无心北还，想在南方长住下来。

杨广是这么想的，即使当不成全天下的皇帝，能保住江南的半壁江山，延续隋朝的国祚，也是可以接受的。这在历史上也有先例。西晋爆发了“八王之乱”，北方动**不安，司马睿便放弃了北方领土，在建康建立政权。杨广觉得自己可以效法司马睿，况且现在的江南比司马睿时期要好多了，经济有了长足发展，人口增加了不少，而且比北方安定多了，完全可以支撑一个王朝。

既然决定南迁，便要定下都城。杨广最满意的是长江南岸偏上游的丹阳（今江苏南京）。丹阳虎踞龙盘，是东吴和东晋的古都，王气和地理位置都极佳。于是，杨广提前派人过江在丹阳修建宫殿，准备一建好就搬迁过去。

这时候，有乌鹊在杨广的幄帐外筑巢，宫人怎么驱赶都赶不走。乌鸦总是绕着杨广的房子呱呱直叫。还有人看到长江中突然冒出巨石，漂向江都。而且当时的天象也很不好：荧惑犯太微，日光四散如流血。所有一切似乎都表明上天不同意杨广迁都丹阳、另建朝廷的计划。

可杨广把这一决定当作是人生最后一搏。他已经年近半百，外面局势又乱，他的选择余地已经很小了，如果不搏一搏，可能连命都没有了。

杨广去意已决，江都的近卫士兵们多数是关中人，不愿意再向南逃往丹阳。他们本来就想家，而关中打得越乱，消息越坏，这些离家千里的小伙子就越想家，盼望着早日回家探望家人。现在看到杨广决心迁都丹阳，近卫官兵们的心一下子就凉了。将军窦贤竟然率领所部兵马私自出逃，要回到关中去，很快被杨广急忙调兵追杀了。但暴力镇压制止不了官兵们开小差，逃跑的官兵越来越多，最后连杨广的近身侍卫也有人跑了。

杨广很担心，问裴矩怎么办。裴矩回答说：“圣驾驻留江都已经两年了。近卫官兵多数是在关中招募的骁果勇士，背井离乡。人没有家庭的温暖，心就不能久安。臣建议让士兵们在本地娶妻，建立家庭。这样他们就不会想回家了。”杨广大喜道：“裴矩一向多谋，现在又出了一条奇计。”

隋朝的军制规定官兵不能随军携带家眷，更不能在外服役期间结婚生子。如今是特殊时期，一切都可以改变，杨广命令裴矩负责此事，大张旗鼓地为近卫官兵们娶妻。裴矩就把江都境内的寡妇和没有出嫁的女子，全都聚拢起来，再叫来江都的将帅、士卒，听凭官兵们随意拉人结婚。之前，凡是有官兵奸污妇女、尼姑、女优的，现在也都让双方结婚。这简直是江都周边地区妇女的末日。而生理得到满足的近卫官兵们很高兴，争相说起裴矩的好话：“裴公真是个好人。”

生理问题解决了，并不意味着心理问题也随之消失了，娶了老婆的近卫官兵们还是想家。谁也没有预料到，这些想家的近卫官兵们最后要了杨广的命。