在杨坚继承父亲的爵位时，齐王宇文宪就曾向宇文邕(2)进言说：“杨坚的长相十分奇特，臣每次看到他都会觉得此人必定不凡，还希望陛下能尽快除掉他。”宇文邕原本就对杨坚有所怀疑，听宇文宪这么一说，猜忌就更重了。只是，他还没能下定决心将杨坚斩除，于是就向畿伯下大夫来和询问意见。谁知，来和虽看出了杨坚的不凡之处，却存了私心，想给自己留条退路。他说道：“杨坚此人还是可信的。要是陛下封他为将军，让他领兵攻打陈国，一定能够战无不克。”

宇文邕听了来和的话，心里还是有些不安，便又偷偷请了相士(3)赵昭暗地里观察杨坚的面相。赵昭和杨坚友谊深厚，竟对宇文邕撒谎道：“皇上无须在意，杨坚的外貌十分普通，根本没有什么富贵命，顶多只能当个大将军。”赵昭的话给宇文邕吃了定心丸，让宇文邕彻底放下了戒心。

此后，内史王轨向宇文邕进谏，说杨坚看上去有不臣之心，希望宇文邕能及时将他除去。可是此时的宇文邕早已信了赵昭的话，对王轨的劝谏不但不以为然，甚至还有些恼怒。

公元578年，宇文邕因病去世，皇长子宇文赟即位。杨坚接连被升为柱国大将军、大司马，女儿杨丽华也被封了皇后。然而，实际上宇文赟对杨坚却更不信任，有一次甚至还对杨皇后说：“我一定要灭你满门。”并在皇宫内设下埋伏，命杀手暗中观察杨坚态度，只要杨坚有一丝无礼就直接诛杀。随后宇文赟将杨坚召进宫议政，所幸杨坚早有防范，无论宇文赟怎么挑衅，杨坚都不露破绽，自然也就躲过了杀身之祸。

后来，杨坚为求自保，便通过内史上大夫郑译向宇文赟透露出自己有意出蕃的消息。宇文赟那时也正想找机会把杨坚调离京城，便顺势将杨坚封为亳州总管。

杨坚任亳州总管期间，庞晃曾向杨坚提议兴兵造反。当时杨坚虽然以“时机尚未成熟”拒绝了，但他心中确确实实种下了“反周”的种子。