武则天在面对人生中一次严重的军事危机时，朝廷内部矛盾也越演越烈，睿宗被囚禁起来，武则天临朝称制，这两件事激化了裴炎与武则天的内部矛盾。扬州叛乱，武则天曾问裴炎如何处理叛乱，裴炎说：“如果武太后不临朝称制，将权力归还给睿宗，那么这场危机就迎刃而解了。”“天子年长矣，不豫政，故竖子有辞。令若复子明辟，贼不讨而解。”——《新唐书·裴炎传》。裴炎以为武则天面临这样的危险处境，一定会乱了手脚，此时逼武则天退位是胜券在握的。裴炎此话一出，朝廷上变得异常安静，武则天更是大吃一惊。监察御史崔詧指出裴炎此举是谋反行为。据《资治通鉴》记载：“炎受顾托，大权在己，若无异图，何故请太后归政？”武则天看到有人站出来为自己说话，她便顺着崔詧的话，将计就计，把裴炎拿下送进了监狱。武则天下定决心要铲除裴炎，因为裴炎与她的矛盾已经无法调和。
裴炎是武则天手中的一颗棋子，她利用裴炎的权势和对自己的支持来与李显争权，目的达到之后，武则天对裴炎的态度发生了改变。裴炎一开始以为武则天是他手中的一颗棋子，却不料自己被玩弄于股掌之上，在愤慨之际，他想利用扬州叛乱来扳回局面，却不料因为失言直接公开得罪了武则天。
武则天将裴炎关入大牢之后，朝廷大为震惊。此时，朝廷大臣分为两派，支持裴炎没有谋反的人占据大多数。很多大臣为了裴炎而上书武则天。“炎，社稷元臣，有功于国，悉心奉上，天下所知，臣敢明其不反。”——《资治通鉴》。武则天面对大臣们的上书，她只回应说：“裴炎谋反，是你们不知道而已。”“炎反有端，顾卿不知耳。”——《资治通鉴》。面对武则天强硬的回答，大臣们依旧据理力争，为裴炎说话。“若裴炎反，则臣等亦反也。”——《资治通鉴》。武则天再次强硬地回答说：“我知道裴炎谋反，而你们不会谋反。”“朕知裴炎反，知卿等不反。”——《资治通鉴》。武则天短短几个字，就将大臣们驳得哑口无言，而武则天想将裴炎置于死地，就必须有他谋反的证据。
关于裴炎谋反，大街小巷都流传着一首儿歌。“一片火，两片火，绯衣小儿当殿坐。”——《朝野佥载》。这是李敬业等人为了策反裴炎而作的一首诗。这首诗被当成歌谣让孩子们唱，唱得久了自然传到了裴炎的耳朵里。裴炎相当不解，但他知道这诗不是空穴来风，非常重要，于是他找来了骆宾王，让他帮自己解一解。其实裴炎心中是知道答案的，他是想通过李敬业等人的叛乱将武则天逼退，重新将大唐江山还给睿宗。骆宾王的名字裴炎也是熟知，他也想亲眼见见这个人。裴炎带着政治目的接待了骆宾王，并赠予骆宾王金银、美眷、古籍、字画等贵重礼物，想通过骆宾王的嘴说出他们的政治目的。骆宾王说：“这一片火，两片火，合起来是一个炎字，绯衣两字合起来就是一个裴字，小儿两字代表子隆，子隆是裴炎的字。那么这首儿歌的意思就是，裴炎当殿坐，裴炎是皇帝。”
裴炎与骆宾王的谈话是秘密的，骆宾王的政治意图非常明显，他只是想帮助李敬业除掉武则天，拥护李敬业当皇帝，李敬业才是野心勃勃的那个人。而裴炎，也想除掉武则天，可是他并不想让李敬业当皇帝，而是想让睿宗归政。裴炎陷入了犹豫，他想除掉武则天，仅凭一人之力无法完成，但李敬业等人都是乌合之众，难成气候，此时如果与他们联手将是粉身碎骨的结局。
早在武则天临朝称制时，裴炎就决定与程务挺合谋，利用武则天出游龙门，搞一个“兵谏”，逼武则天退位还政。但不幸的是，天公不作美，阴雨连绵数日，武则天出游的计划取消，裴炎的“兵谏”计划也就夭折了。据《新唐书》记载：“豫王虽为帝，未尝省天下事。炎谋乘太后出游龙门，以兵执之，还政天子。会久雨，太后不出而止。”
面对扬州叛乱，裴炎的态度很消极，他甚至希望武则天无法解除这个危机。可是武则天在裴炎说出这句话的时候，就毫不犹豫地将他关入了监狱，并且将他扣上了“谋反”的名号。薛仲璋是裴炎的外甥，武则天利用薛仲璋与裴炎的关系大做文章，称裴炎与薛仲璋合谋，与李敬业等人共同造反。武则天还拿出了真凭实据，这个真凭实据是裴炎给李敬业写的一封信，上面只写了“青鹅”二字。武则天面对这两个字，对大臣们说：“‘青鹅’，拆开来看，‘青’是十二月，‘鹅’是我自与的意思。”据《朝野佥载》记载：“此青者十二月，鹅字者我自与也。”武则天就凭这“青鹅”两字把裴炎送上了断头台。但扬州叛乱起兵时间并不是十二月，这个证据只是武则天一手捏造的，紧接着她又开始对大臣进行清理，凡是支持裴炎的人都被处置流放。程务挺也在这次政治斗争中成为了牺牲品，他与裴炎关系亲密，并且为裴炎上书力争清白。武则天深惧程务挺手握兵权，她知道，此人不可久用，于是武则天将程务挺抓起来杀掉，罪名是勾结裴炎乱党。武则天将两个大人物处死，一文一武的威胁告一段落，紧接着，她又将支持裴炎的人一网打尽，文臣安上勾结裴炎的罪名，武将安上勾结程务挺的罪名。朝廷之中，再没有人可以与武则天抗衡。
武则天平定扬州叛乱后，回顾自己多年来的心路历程，感慨不已，她决定在紫宸殿对文武百官进行一次严肃的训话。面对俯首臣称的文武百官，武则天说：
“朕事先帝二十余年，忧天下至矣！公卿富贵，皆朕与之；天下安乐，朕长养之。及先帝弃群臣，以天下託顾於朕，不爱身而爱百姓。今为戎首，皆出於将相群臣，何负朕之深也！且卿辈有受遗老臣，倔强难制过裴炎者乎？有将门贵种，能纠合亡命过徐敬业者乎？有握兵宿将，攻战必胜过程务挺者乎？此三人者，人望也，不利於朕，朕能戮之。卿等有能过此三者，掌即为之；不然，须革心事朕，无为天下笑。”——《资治通鉴》。武则天用沧桑而严厉的声音说出了这样一段话，话音刚落，朝廷之上万籁俱寂，不一会儿，所有大臣都跪地磕头，异口同声说：“唯太后所使！”
武则天看着底下的大臣用洪亮的声音喊出：“唯太后所使”的话，她感慨万千。她在深宫斗争了数年，从后宫走到朝廷，历经后宫尔虞我诈与朝廷的血雨腥风，终于在朝廷里有了她一席之位，尽管这个位置是多么的让人不满。她为了证明自己有能力为百姓谋福利，有能力让大唐繁荣昌盛，她忍着别人的讥讽和不敬，顽强抗争，打击敌人。二十多年的日日夜夜，辛苦换来的永远是别人的白眼和碎语。纵使她坚强不屈，聪明绝顶，心机似海，仍旧无法让所有的人从心底对她叹服。这一句“唯太后所使”她听得是多么无奈！