仁寿四年(604)对皇太子杨广来说是最难熬的一年，也是他政治生涯最关键的时刻。宫廷内权力争夺暗流迭起，此时的政治斗争不讲什么规则，只有强者诈者才可能出奇制胜。杨广其人阴险诡诈，残忍恶毒，终于喋血宫门登上了帝位。
在夺嫡斗争中，除两个弟弟外，反对杨广入主东宫的还有部分朝臣和州郡牧守，他们的攻击目标主要是权相杨素。
杨素与杨广狼狈为奸，废太子杨勇和蜀王杨秀成功后，杨素“威权越盛”,朝臣中敢忤逆他者，就会遭到暗算或致处死，甚至诛夷全家。如治书侍御史柳彧蔑视杨素，公开对抗，杨素借口治蜀王党羽，以“内臣交通诸侯”罪，将柳彧除名为民，配戍怀远镇。而附会杨素的人，即便是无才无德，也会加官进爵。此时，内外大臣都屈从于杨素势力， “朝廷靡然，莫不畏附”。敢于与杨素对抗的只有少数几个人。
首先出来反对杨素的是以性格“刚謇”、历任谏官而有“鲠正”之名的定安乌氏人梁毗。仁寿二年(602),梁毗在任西宁州刺史十一年后征为大理卿，入朝后见杨素专权， “恐为国患”,乃上“封事”(密封专呈给皇帝的奏折)指出杨素为人阴险。奏章尽管激怒了隋文帝，但所言诚亮有节。梁毗并指陈：太子、蜀王罪废之日，百僚无不震惊惶悚，唯杨素眉飞色舞，喜形于色，是视国家有难而以为自己的荣幸。梁毗发言謇謇，辞气不挠，确实打动了隋文帝，动摇了杨素的地位，杨素“自此恩宠渐衰”。
粱毗率先攻击杨素，少与杨素等“友善”的贝州长史河东闻喜人裴肃即起而响应，大胆地上书直接为杨勇、杨秀及高继颖开脱，请求给他们“自新之路”。隋文帝见书，谓杨素曰： “裴肃忧我家事，此亦至诚也。”于是征裴肃入朝。这使杨广紧张万分，对心腹张衡说： “使(杨)勇自新，欲何为也?”张衡认为： “欲令如吴太伯、汉东海王耳。”也就是将杨勇、杨秀外封藩王，这显然对杨广不利。接踵而来的有尚书左丞李纲，更直接指陈杨勇“才非常品，性本常人，得贤明之士辅之，足嗣皇业。奈何使弦歌鹰犬之徒，日在其侧，乃陛下训导之不足”。认为是文帝教导无方，非杨勇之过，这更是为废太子申冤。后来隋文帝召见裴肃，说明自己五子“并皆同母，非为憎爱轻事废立”,表明杨勇“不可复收之意”,但杨广心里仍不踏实。
反对杨广、杨素更有力者，乃是杨广的妹夫。
柳述，字业隆，河东解人，出身于门阀世家。祖父柳庆为北魏尚书左仆射，父柳机、族叔柳昂在北周皆官居要津，地位显赫。
杨素以势欺人，当众奚落柳机，但柳氏既是天门阀，有雄厚的政治文化基础，又通过门阀联姻，提高政治地位。时隋文帝爱女阿五，初嫁王谊子王奉孝，奉孝早卒，阿五新寡，年方十八岁， “美姿仪，性婉顺，好读书”,隋文帝于诸女中“特所钟爱”,封为兰陵公主。隋文帝为公主再选新郎，皇帝嫁女最讲门第，百般挑选才决定河东柳述与后梁皇族萧场为候选人。文帝也曾征求杨广意见，因萧场是杨广的小舅子、王妃萧氏之弟，杨广当然希望小妹与小舅子成亲，就向父皇表明了态度，隋文帝“初许之”。后又征求关中门阀韦鼎的意见，韦鼎是最讲究家族渊源门第婚宦的。隋文帝于是将公主嫁给了柳述。这使杨广很不高兴。
柳述聪敏，有才干，爱好文艺，少年时即充任皇太子杨勇的亲卫，与杨勇过从甚密。成为皇帝的乘龙快婿之后，更是官运亨通，任内史侍郎。父亲柳机也征召入京， “礼遇益隆”,曾拜纳言出任宰相。另外，兰陵公主对柳述亦很疼爱。隋文帝见此很高兴，不但对阿五特别钟爱，而且荫及柳述， “于诸婿中，特所宠敬”。柳述在父死后袭爵建安郡公，判吏部尚书事，得到隋文帝的宠信，在政治上崭露头角。很自然地成了杨广、杨素的政敌，并且是劲敌，皇太子杨广对柳述用事“弥恶之”。
杨素称朝中独柳述以帝婿之重，经常当众给杨素难堪，时柳述在吏部，判事有不合杨素意者，杨素传令柳述改正，柳述即对来者说：“去告诉仆射，就说我柳尚书不肯。”这当然会引起杨素怒发冲冠，却又没有办法。柳述还经常在隋文帝身边当杨素的面揭他的短，让杨素下不了台。于是，杨素内心对柳述是恨之入骨。
由于受到柳述的掣肘，杨素在仁寿年间再也没有干成什么大事，对朝政的控制和影响力逐渐削弱，唯有对外作战仍充当统帅。
仁寿元年(601)正月丁酉，突厥又入侵恒安，代州总管韩洪战败，被贬为庶人。隋文帝令杨素为云州道行军元帅，率归附隋朝的突厥启民可汗北征。但附于启民的斛薛等诸姓叛变，杨素率上大将军梁默等以轻骑追赶，在荒漠上转战六十余里，大破突厥阿勿里力俟斤部。又遣柱国张定和、领军大将军刘异从别路邀击，多有斩获。杨素所率隋军大获全胜，但北突厥步迦(达头)可汗仍频繁南掠启民，隋朝则让启民遣使往北方铁勒诸部策反。
仁寿元年(601)至三年(603),大漠北面铁勒的恩结、阿拔、仆骨等十余部及东面奚、雪等十余部趁突厥步迦汗庭衰弱之际，摆脱可汗统治，纷纷归附隋朝。仅仁寿元年五月己丑(初七)一次，归附隋朝的就有男女九万余口，北突厥于是大乱。木杆阿波可汗之裔的泥利可汗遂在西部拥兵自雄，击败步迦(达头)之子咄六叶护，迫其沦为自己的小可汗，又遣兵东进，封闭已众叛亲离的步迦西归之路。步迦可汗无路可走，只好逃奔吐谷浑，后不知所终。南突厥启民可汗在隋朝的支持下，大举北进，尽有蒙古草原之众。隋文帝让长孙晟送启民于碛口安置。至此，突厥又分裂为东、西两大汗国，而东突厥实际上已是隋朝的附庸。启民可汗对隋王室俯首称臣，岁遣朝贡。这是杨广夺嫡成功立为皇太子后，隋朝最重大的政治发展。当时隋文帝六十多岁，文韬武略仍不减当年。
仁寿三年(603)八月，幽州总管燕荣因“性严酷”,屈辱大门阀范阳卢氏，暴虐部下，被隋文帝征还京师赐死。杨素虽立有大功，但他作威作福，以权谋私，构陷朝臣，树敌太多。梁毗、裴肃的抗表上书及柳述的当面谏言，隋文帝虽未能尽纳其意，但对杨素的任使信用的确是转变了。
以致“终仁寿之末”,杨素“不复通判省事”,也就是说，他不再主持三省的全面工作。
隋文帝不但疏忌杨素，而且开始逐次剪其羽翼，将其弟杨约出为伊州刺史。其从叔杨文纪也由宗正卿兼给事黄门郎判礼部尚书事之位外放，仁寿二年(602),迁荆州总管。甚至与杨素友善的薛道衡也被斥出朝廷。
这时皇太子杨广的日子也不好过，他在京师居闲，事事处处必须看父皇的眼色行事，凡事都得谨慎小心，以防不测。仁寿初年，杨广曾奉诏巡抚东南，回了一次江都，算是干了一件实事。后来，其父每往仁寿宫避暑，都令皇太子杨广在京师监国。但即便是监国，国家大政还是得取决于隋文帝，杨广在东宫，实际上是无事可干。居闲不符合杨广的愿望，也不合他的性格。
独孤皇后去世之后，已届花甲之年的隋文帝终于可以无拘束地亲近女色，日日欢宴、时时笑歌了。这时的隋文帝宠幸两位南国绝色美女，其中宣华夫人陈氏乃陈宣帝之女，是陈后主的妹妹，陈亡之时被配入后宫掖庭，她有两位姐姐也分别被隋文帝赏赐给了灭陈功臣贺若弼、杨素为妾。国破家亡，女人遭殃，虽贵为南朝公主，也免不了沦为奴婢。宣华陈氏入宫后因“性聪慧，姿貌无双”,而被选为嫔，成为隋文帝所宠幸的极少数几个嫔妃之一。隋文帝曾对裴肃说： “吾贵为天子，富有四海，后宫宠幸，不过数人。”另一位能列入这少数“后宫宠幸”的是容华蔡氏。蔡氏也是一位南方淑女，丹阳人，陈灭亡之后入宫为世妇。她“容仪婉嫣”,也大得隋文帝之爱。但是，独孤皇后性妒，她在世时，隋文帝虽然喜欢这两个绝色美人，却很少和她们亲近。独孤皇后“内擅宫闱，虚嫔妾之位，不设三妃，防其上逼”,致“后宫罕得进御”。及“至文献崩后，始置贵人三员”,三员之中陈、蔡为最，二人不久晋位夫人，加宣华、容华之号，而宣华夫人陈氏更是“专房擅宠，主断内事，六宫莫与为比”。容华夫人蔡氏也“参断宫掖之务，与陈氏相亚”。
后宫的变化对朝政产生了很大的影响，首先是老皇帝杨坚由于沉迷于美色，而使原先谨守俭朴的生活改变了，并“由是发疾”, “精华稍竭”,身体渐渐衰弱。隋文帝病危时，对自己已届花甲之年沉迷于女色深表忏悔。
隋文帝身体衰弱加快了隋朝权力交接的速度。这对刚入主东宫不久的皇太子杨广来说未尝不是好事。
善于耍手腕的杨广对于父皇宠爱的宣华夫人陈氏当然不会不加利用。早在江都扬州总管任上，晋王杨广为夺嫡就已设法拉拢陈氏。进金蛇、金驼等物，以取媚于陈氏。杨广其人无孔不入，充分利用了父皇枕侧女人为自己做事。陈氏党于杨广，为其夺嫡出过力，至杨广夺嫡成功，当上皇太子，特别是独孤皇后死，宣华夫人陈氏“专房擅宠，主断内事”之后，杨广与这位年龄比自己还小，楚楚动人的后母的关系就更加微妙。
仁寿年间的隋最高统治层既暗藏着不稳，杨广当皇太子才两三年，哥哥杨勇囚禁在东宫并未心服，天天都在企求面见父皇申冤。这对杨广时刻都是潜在的威胁。权相杨素被疏忌，在隋文帝面前已说不上话了，而一旦有人在隋文帝面前揭露杨广与杨素的夺嫡阴谋，隋文帝醒悟，则杨广的皇嗣地位就可能发生动摇。在如此严峻的时刻，杨广要进一步拉拢处于皇枕之侧的宣华夫人陈氏，规为内助，显然是十分重要的。
当时还有一点很重要，即驸马柳述拜兵部尚书，参掌机密，实际上是副宰相。柳述年轻有为， “职务修理，为当时所称”,但也有缺点， “不达大体，暴于驭下”,也就是说他脾气不太好。柳述“自以为无功可纪，过叨匪服，抗表陈让”,岳丈皇帝虽允其请，但仍令摄兵部尚书。驸马宰相柳述既为岳父隋文帝宠信，对皇太子杨广构成了最严重的威胁。与柳述同时提拔在朝掌政的黄门侍郎元岩也与柳述一样，并不依附杨广、杨素。随着权力斗争的消长，在杨素被疏后，元、柳用事，隋上层统治集团中出现了一股反对杨广同情杨勇的势力。
仁寿四年(604)正月，隋文帝在大赦天下之后，按例又准备往仁寿宫避暑，留皇太子杨广监国。乙丑(二十八日),诏朝中赏罚支度事无巨细，并付皇太子杨广处理。这种安排对杨广当然极为有利，而对以柳述为首反对杨广同情杨勇的势力，则是相当不利的。为了阻止隋文帝往仁寿宫，柳述等竟唆使原东宫术士章仇太翼出来谏止，称“是行恐銮舆不返”。但这反倒触怒了隋文帝，章仇太翼被囚禁，隋文帝声称待还朝时再斩首。随即拥着宣华、容华二夫人往仁寿宫避暑享乐去了。
仁寿宫虽恬静安宁，盛夏清凉，但年已六十四岁的隋文帝因纵欲过度，于四月终竟染病不起。六月他又大赦天下，至七月甲辰(初七),隋文帝已是病重不治，躺在**，和左右文武百官诀别，握住大臣们的手唏嘘不止。丁未(十三日)在大宝殿驾崩，临死命皇太子杨广赦免了章仇太翼。
杨广谋夺了东宫之位，加之母后独孤氏死后，把往日掩饰的那层不好奢侈、不近女色的面纱揭掉。况且隋文帝也亏得独孤皇后身死，没有拘束，宠幸了一个宣华陈夫人，一个容华蔡夫人，把朝政渐渐丢与他，所以他越发得意了。到了仁寿四年(604),隋文帝年事已高，禁不住这朵鲜花的折腾。四月间，已成病了。于是长期不在长安大内，而在仁寿宫养病。病到七月，病势渐渐不支。于是，隋文帝命尚书左仆射杨素、礼部尚书驸马柳述，还有黄门侍郎元岩三个人入宿阁中。尔后，太子杨广也入宿阁中。
太子入宿太宝寝殿中，常是陈夫人、蔡夫人，率领宫嫔服侍。太子也常进宫侍疾，这两个夫人都不避忌。
到这时同在宫中，便也不相避忌，又陈夫人举止风流，态度娴雅，徐行缓步，流目低眉，也都是她常事。太子见了，都疑是有意于他，一腔心事，被她引得火热。正是： “花弄清香非惹蝶，柳舒密荫易招莺。”虽然父皇已是不起之疾，但在父皇面前，终有些忌惮。要胆大闯进他宫中去。
……不期一日杨广问疾入宫，远远望见一位丽人，步出宫来： “日映朱颜丽，风牵翠带长，却疑巫峡女，行雨逐襄王。”独自缓步雍容而来，不带一个宫女。杨广举头一看，却是陈夫人。她是要更衣出宫，故此不带一人。杨广喜得心花怒放，暗想道：“机会在此时矣!”吩咐从人，且莫随来。自己三步并做两步，随入更衣处。……正在不可解脱之时，只听宫中一片传呼道： “圣上宣陈夫人!”此时太子知道留不住她，只得放手，道： “不敢相强，且待后期。”夫人喜得脱身，早已衣衫皆绉，神色皆惊，太子犹自为她整鬓整衣。陈夫人也稍俟喘息宁贴入宫，不料是隋文帝睡醒，从她索药饵。如何敢迟?只得举步到御榻前来。那文帝把那朦胧病眼一看，好似： “摇摇不定风敲竹，惨惨无颜雨打花。”……便问道： “为甚作此模样?”此时陈夫人也知道隋主病重，不欲把这件事说知恼他，但一时没甚急智遮掩，只得说一声道： “太子无礼!”隋文帝听得这句言语，不觉怒气填胸，把手在御榻上敲两下道： “畜生何足付大事?独孤误我，独孤误我!快宣柳述与元岩到宫来!”太子也怕这事有些决撒，也自在宫门缉听。听得父皇怒骂，又听得叫宣柳述、元岩，不宣杨素，知道有难为他的意思，急奔来寻张衡、字文述一干计议。这干正打帐做从龙之臣，都聚做一处，见太子来得慌张，还道是大行宴驾，至问起缘故，宇文述道： “这好事也只在早晚间，太子这般性急!只是柳述这厮，他倚着尚了兰陵公主，恃是勋戚重臣，与臣等不相下，断不肯为太子周旋，如何是好?”
张衡道： “如今只有一条急计，不是太子，便是圣上。”……正是“势当骑虎不能下，计就屠龙事可为。”于是一不做，二不休，由张衡入宫拉杀隋文帝，血溅屏风。
明代另一部署名齐东野人著《隋炀帝艳史》,对杨广趁父皇卧病之机，调戏后母宣华夫人进行了着力描写。此书第三回题“正储位谋夺太子，侍寝宫调戏宣华”。作者把杨广说成是个“色中饿鬼”,入宫“看见宣华，早已魂销魄散，如何禁得住一腔欲火!不转珠地偷睛细看，见宣华美丽异常，心头欲火如焚，恨不得一碗水将她吞下肚去”。这个无耻的太子，只顾“人生行乐”,竟不管“什么名分不名分”,在宫中百般调戏起宣华来，宣华正色说道： “妾虽宫闱妃媵，已经圣上收备掖庭，名分攸关，岂可相犯!殿下请自尊重。”杨广不听，终于闯祸。作者以诗述曰： “一时欲火浇难灭，千载**风吹不休。试问玉人谁是主?夕阳衰草满宫愁。”在千钧一发废立之际，杨广被迫弑父自立，“当年只道臣如虎，今日谁知子似狼。”杨广称帝后，做的第一件事就是与后母宣华夫人同床共枕，遂了他的欲望。作者又以诗讥讽道： “惠怀无亲天下笑，新台有赋古今羞。长门多少闲姬妾，偏向先皇枕席求。”
这段史事，《隋书·后妃·宣华夫人传》所载最为详细：
太子遣张衡入寝殿，遂令人及后宫同侍疾者，并出就别室。俄闻上崩，而末发丧也。夫人与诸后宫相顾曰： “事变矣!”皆色动股栗。晡后，太子遣使者赍金合子，帖纸于际，亲署封字，以赐夫人。夫人见之惶惧，以为鸩毒，不敢发，使者促之，于是乃发，见合中有同心结数枚，诸宫人咸悦，相渭曰：“得免死矣!”陈氏恚而却坐，不肯致谢，诸宫人共逼之，乃拜使者其夜，太子烝矣。
所谓烝，即**。杨广迫不及待，在父皇刚死，尸骨未寒的当夜便霸占了后母，而且，容华夫人蔡氏也“自请言事，亦为太子所烝”。
弑父**母，十恶不赦，成为隋炀帝最大的罪恶。著名史学家周一良先生也把此二端列为杨广罪恶“最严重”的。在引述了《隋书·宣华夫人传》烝**原文后，作者评曰：“这岂是给智颛信里所表现的虔诚的佛弟子总持吗?”对于仁寿宫变，唐人隐讳遮盖，明清人大肆渲染，事情的真实性到底如何，颇值得深思。