另一边，独孤皇后其人善妒，最讨厌的就是好色娶妾的男人，而杨勇恰恰犯了母亲的忌讳。当时，杨勇娶拓跋家族的后裔元孝矩之女元氏为正妃后，还纳了许多妾室。其中，云昭训尤为受宠，还为杨勇诞下三名子嗣，独孤皇后对此很是不满。

让人没想到的是，性情刚烈的元氏竟然因为不受夫君宠爱而气死了。独孤皇后闻知后，便认定是杨勇与云昭训加害元氏，致使其死去。偏偏杨勇还不知收敛，毫无为元氏死讯而悲伤的迹象，并将太子宫全权交给云昭训打点，独孤皇后更加恼怒。

平时，杨广一直竭尽所能讨皇后欢心，许多掌权大臣又与杨广交好，常常夸赞杨广宅心仁厚。如此一来，独孤皇后对杨广的印象也越发好了起来，易储的想法从心底渐渐萌生。

后来，杨广在前往扬州去向皇后辞行时，依依不舍地对母亲说：“太子已有害我的心，我生怕这一去就可能再也见不到母后了。”独孤皇后听后勃然大怒：“如今我尚且在世，他竟敢如此，待我死后，岂不是无人可以压制他？”于是她叮嘱杨广没有她的旨意万万不能回京，更加不能接近东宫。此时，独孤皇后已然想要废黜杨勇的太子之位。

与此同时，杨广也费尽心机与丞相杨素结交，并很快得到了杨素的支持。

杨勇自然也察觉到了自己危险的处境，却又无可奈何。情急之下，他竟派人前去搜集杨坚的消息，窥伺杨坚的举动。事情被杨坚发现后，让杨坚对他的疑心更重，不仅增强了身边的警卫，甚至晚上睡觉都要三次易位。