懿贵妃和肃顺之间的矛盾日渐加深，这种事传得可快了，所谓“好事不出门，恶事传千里”。宫里宫外很快都知道懿贵妃与肃顺之间有着很深的矛盾，当事人肃顺当然更清楚，这个厉害的懿贵妃在算计自己，可要小心了。

关于懿贵妃与肃顺之间矛盾的起因，历史记载并不多，但是，如果我们稍加分析史料就会明白，他们之间的矛盾双方各有责任。

从肃顺的角度分析，主要是他一不小心犯了宫中大忌，不自觉地参与了宫斗。他“导上娱情声色”，引导咸丰帝纵情声色，如四春娘娘、山西曹寡妇、名妓朱连芬等。为了提高咸丰帝的性能力，他居然给咸丰帝准备了很多壮阳药。肃顺所有这一切的做法，都触犯了大清家法。

肃顺的目的很明确，就是要通过“帮助”咸丰帝做这些事，来达到个人揽权的目标。咸丰帝与肃顺，两个人各得其所，都没有意见。

可是，这却触犯了懿贵妃的利益。大致在两方面使得懿贵妃非常不安：一是咸丰帝移情别恋。有了这么多女子，咸丰帝自然冷落了懿贵妃，他再也记不起那个温柔的懿贵妃了。二是咸丰帝再也不需要懿贵妃“帮助”他处理政务了，虽然仅仅是给他的文件分类而已。

肃顺和懿贵妃之间的矛盾升级了，不管从哪个方面讲，两个人都势不两立了。那么，这两个人究竟鹿死谁手，就看谁的本领大了。

按说懿贵妃应该比肃顺占优势，女人的本领那还用说吗？枕边风一吹，是很管用的。可是，恰恰相反，这个时候的懿贵妃根本没有机会给咸丰帝侍寝了，咸丰帝身边的女人多着呢。看来，肃顺是如鱼得水。

可是，他不要太得意，懿贵妃手中有一张王牌，那就是大阿哥载淳，这是咸丰帝唯一成活的皇子，将来是要接班当皇帝的。这让肃顺极为不安。怎么办呢？肃顺陷入了沉思。

只有一个办法，那就是取而代之。取而代之的唯一办法就是让咸丰帝再生一个皇子。可是，咸丰帝的身体状况一天不如一天，能不能生出来还是个问题。还有一个问题，那就是由谁来生，这个人可要找好了，至少要听从自己的指挥和安排。

肃顺把目标锁定在了一个年轻女子的身上，这个女子就是徐佳氏。

徐佳氏出身卑微，她的父亲是内务府一个低级的小官，名字叫诚意。他在内务府每天跑跑腿，干点儿杂活儿。徐佳氏是宫女出身，咸丰初年就进宫了，她长相漂亮，能说会道，非常有人缘。所以，被好色的咸丰帝相中，咸丰帝很受用，咸丰四年被封为玫贵人。眼看着就要有很好的前程，可谁知道这个玫贵人犯了两个大错。

一是她使用“一丈红”，杖打宫女。我们看《甄嬛传》中，华妃用一丈红把夏冬青打成残疾，这是绝对不允许的事情。

二是她态度轻浮，竟然违制与太监调笑。《钦定宫中则例》中记录了这个事件：

伊与太监孙来福任意谈笑，已将伊之位分褫革，从重惩处，降为宫女子，并将孙来福重责发遣矣。六宫规矩理宜严肃，嗣后若再有任性凌虐使女，与太监诙谐无所不至者，朕必照此办理。若太监再有似此无规矩者，朕岂能尚如此轻办，必即将太监正法。

玫贵人被处理了，一下子降为宫女，一夜又回到解放前。现在肃顺终于找到了她，眼前的徐佳氏让他惊呆了，她不仅没有受到影响，而且出落得比之前更加漂亮迷人了。肃顺这下放心了。