韩国夫人的死让高宗非常伤心，高宗感觉自己很无能，无力保护自己深爱的人。他为了纪念韩国夫人，将韩国夫人追封为郑国夫人。并赐韩国夫人的女儿贺兰氏为魏国夫人。从此，高宗做事更加顾忌。渐渐地他感觉到自己力不从心，无论从政事上还是生活上，武则天像一个无形的大手，将自己牢牢抓住。这种压抑的感觉让高宗身心疲惫，高宗渐渐厌烦这种生活状态，他想从武则天手中逃脱出来。而此时的武则天大权在握，高宗要想逃脱武则天的控制，就要将她手中的权力削弱一部分。有了这样的想法，高宗和武则天从一开始恩爱的夫妻、政治上相互辅佐的恋人变成了即将展开决战的政敌。而这个微妙的变化，是由李义府的贬官开始的。
李义府一直受武则天重用和保护，为武则天和朝廷出了很多力，高宗与武则天是政治同盟，自然也力挺李义府。但随着高宗和武则天因为权力争夺产生了裂痕，高宗对李义府的行为是越来越不满意了。
早期李义府因为逼死毕正义而差点被贬，因为武则天和高宗皇帝联手，才将李义府保全，李义府为了立功，又积极修改《姓氏录》，本以为李义府因此而悔过，不料逼死官员的事件再次出现。
李义府曾与李崇德结交，李崇德家庭背景良好，是赵郡李氏，门第之高让李义府心生羡慕。李崇德为了巴结李义府，主动提出要将李义府的名字写到自己的族谱上，为李义府提高身份。李义府对李崇德这种做法深感满意，两个人关系更是好上加好。可是好景不长，当时颇受高宗皇帝宠爱的杜正伦非常厌恶李义府的小人行径，经常与李义府争吵。在一次早朝上，两人再次发生争执，几乎拳脚相加，高宗非常生气，但是两个人都是自己提拔起来的人物，高宗最后决定将两人各打五十大板，贬往地方。李义府一贬官，李崇德就赶忙与李义府划清界限，生怕因此而受连累，于是，李义府的名字从李崇德的族谱上划掉了。李义府知道这个事情后，心里非常痛恨李崇德，一年之后，李义府再度被武则天召回。昔日的仇恨久久不能散去，李义府诬告李崇德，李崇德被下狱，最后死在了狱中。
害死李崇德之后，李义府依旧狂妄自大，为了改葬自己的祖父，不惜人力、物力、财力，要去七个县的百姓一起大兴陵墓。高县令为了巴结李义府，亲自上阵工作，因为天气原因和自身体质，高县令突然倒地猝死。高县令的死让朝廷再次沸腾了，文武百官对李义府指指点点。
这件事让高宗皇帝从心底对李义府产生了强烈的不满，高宗皇帝对武则天的不满与此形成强烈的对应情绪。高宗皇帝决定找李义府谈谈。据《旧唐书》记载：“闻卿儿子女婿皆不谨慎，多作罪过，我亦为卿掩覆，未即公言。卿可诫勖，勿令如此。”李义府为了敛财，大肆卖官，贪污受贿已经不是一天两天，高宗针对此事告诫李义府，希望他能好自为之。可李义府听后，却质问高宗是何人所说，高宗皇帝听后，勃然大怒，厉声责骂李义府，李义府听后扔下高宗皇帝转身就走。“义府勃然变色，腮颈俱起，徐曰：‘谁向陛下道此？’上曰：‘但我言如是，何须问我所从得耶！’义府睆然，殊不引咎，缓步而去。上亦优容之。”——《旧唐书列传》
高宗皇帝再也不能容忍李义府藐视自己的权威，与此同时，他想扳倒李义府来削弱武则天的势力。他要让武则天知道，天子的权威不可藐视，武则天的生死还是操控在自己手里。据《资治通鉴》记载：“及得志，专作威福，上欲有所为，动为后所制，上不胜其忿。”
于是高宗皇帝决定给李义府安个罪名，将李义府流放。就在这时，不安分的李义府又出了事。他找了个算命先生给自己面相，算命先生说李义府不久会有牢狱之灾，要多敛财才能镇住牢狱之气。李义府信以为真，大肆卖官敛财。此时，长孙无忌家族后代中的一个人想做官，他找到了李义府，将钱给了李义府换来了一个六品官阶。这个事情很快就上报给了高宗皇帝，高宗皇帝给李义府安了一个“勾结谋反势力”的罪名，将李义府流放到很远的地方去了。
武则天得知了这一消息后却无动于衷，她知道，高宗皇帝是针对自己才流放李义府。此时李义府已经不得人心，如果要保他，恐怕自己也会引火烧身。武则天只好放手不管，不再过问此事。
武则天的不回应却没有缓和与高宗的关系，不久，高宗就策划了一场阴谋，要处置武则天。宦官王伏胜上书状告武则天和道士郭行真搞“厌胜”之术，这个预谋就跟武则天当年对付王皇后一模一样。郭行真与高宗和武则天都有密切来往，武则天深刻知道，巫术并不能起任何实质性作用，她怎么可能用这样不切实际的手段去对付高宗呢。这显然是一场诬告，然而这诬告背后的人一定是高宗皇帝。除了高宗皇帝撑腰，谁还敢与武则天争锋。武则天心里如明镜一般，她只有按兵不动，看高宗皇帝如何收拾局面，如何对付自己。
高宗皇帝并没有想好对付武则天的对策，他对武则天的不满越发强烈，可是他不知道如何处置武则天最合适。于是，他找来了一直非常欣赏的大臣上官仪。
上官仪是大唐有名的才子，又是一个敢于谏言的忠臣。据《旧唐书》记载：“游情释典，尤精《三论》，兼涉猎经史，善属文。”他的诗词歌赋虽然没有李白的诗那样家喻户晓，但他的词风清绝隽永，被当时很多“士大夫”模仿，被称为“上官体”。这样才华横溢的文人型大臣，深得高宗欣赏和喜欢，两人常吟诗作对，上官仪和高宗皇帝的交情也非常深。但是这样的文墨大臣难免在政治上会不够客观和理智，上官仪的仕途过于顺利，文人情怀浓重，政治手腕却差很远。他深受儒家思想熏陶，对女人参政非常介怀。于是，上官仪严肃地向高宗皇帝提出了自己的意见。据《资治通鉴》记载：“皇后专恣，海内所不与，请废之。”
上官仪上书提出废掉武则天，这个建议让迷茫又无措的高宗找到了方向，高宗借着心中的不满，把自己多年来的委屈和辛酸统统说给上官仪听，上官仪作为臣子，不由得为高宗皇帝感到难过，两个人更加坚定了要废除武则天的信念。就这样，高宗命上官仪起草诏书，废掉武则天的皇后位置。
上官仪的上书很快被武则天的情报网捕获，据《资治通鉴》记载：“左右奔告与后。”武则天知道后，马上决定去找高宗皇帝理论。此时诏书上的墨迹还没有干，武则天就出现在高宗面前，仿佛从天而降一般迅速。高宗皇帝一时也懵了，武则天开始哭诉自己的委屈，开始历数自己过去的政绩，提醒高宗自己有能力胜任皇后，武则天说完政绩，又开始说自己与高宗过去的生活，点点滴滴记得那么清晰，高宗也不由得吃了一惊。这时，武则天抢过诏书，质问高宗皇帝为何要废掉自己，必须给自己一个理由。高宗皇帝一时语塞，竟然说不出话来。感性又懦弱的高宗被武则天软硬兼施搞得尴尬难堪。高宗只好把责任推卸给上官仪，说是上官仪出的主意。据《资治通鉴》记载：“我初无此心，皆上官仪教我。”软弱的高宗皇帝找到了一个台阶，就如抓到了救命稻草一般，将上官仪推了出去。
上官仪被夹到中间，甚是无奈，他叹了口气什么都没有说。从此武则天记恨上官仪，终于她找到了一个绝好的机会。《旧唐书》记载：“王伏胜与梁王忠抵罪，许敬宗乃构仪与忠通谋，遂下狱而死，家口籍没。”
这次政变被武则天悄然解决，无声无息，又快又狠，高宗皇帝再没有能力将武则天的权力夺走。武则天可以化险为夷、力挽狂澜归结于她强大的情报网和她的足智多谋。废后事件也是武则天人生的第二大险峰，虽然没有在感业寺那样历时长久，但是政治风险堪称千钧一发，如果武则天没有果断地处理这场事变，她前面的一切努力都化为虚无。武则天的果断和勇敢，对于事态的冷峻分析和迅速出击，让她在每一次的绝境中都能反败为胜。