唐高宗和武则天矛盾公开化的第一个表现，就是李义府被贬官。前面说过，李义府是第一个站出来支持立武氏为皇后的大臣，打响了废王立武的第一枪，所以武则天对他一直青眼相加。在唐高宗和武则天联手处理元老重臣的过程中，他也是得力干将。帝后二人因此都视他为自己人。可是李义府的行为，实在令人不齿。

显庆元年（656年），他有一次视察监狱，看上了一个姓淳于的女犯人。淳于氏长得很漂亮，所以李义府也不管她所犯何罪，是不是谋杀亲夫，竟然指使大理寺丞把她给放出来，收到家里做了小妾。没想到这件事情没做好，事先没有跟大理寺的长官大理卿打招呼。大理卿一看监狱里丢了一个犯人，马上上报了。朝廷立即着手调查，李义府怕事情败露，竟然逼那个帮他放人的大理寺丞自杀。大理寺丞一自杀，可就是人命案了，死者还是一名官员，朝廷更要调查。

唐高宗知道事情是李义府干的，本来想要原谅他，不予追究。但是青天白日，朗朗乾坤，岂能人人都这么没有良知呢。有一位御史叫王义方，他坐不住了。他回家禀报母亲，说现在朝廷里出了这么一件事，而他是一名监察官员，如果不管呢，良心不安；如果管了，又怕皇上怪罪，连累母亲。他的母亲深明大义，对他说：自古忠孝不两全，你既然当了这个官，就要舍孝全忠，报效国家。另外，你这样做，还可以成就一生的大名。如果你因此获罪，我虽死无恨！王义方受了母亲一番鼓舞，马上上书朝廷，要求严惩李义府，还死者一个公道。可是唐高宗当时正在对朝廷的干部资源做优化组合呢，怎么能自毁长城？他没有惩办李义府，反倒责怪王义方毁辱大臣，马上贬他为莱州司户。

这样一来，大臣们一下子就知道了李义府在皇上心目中的分量，再也不敢轻易和他叫板了。可是偏偏有一个大臣不信邪，又和李义府闹矛盾了。谁呢？杜正伦。这也是唐高宗提拔上来的一位宰相，他觉得自己资格比较老，很看不起李义府的那副轻狂样子。李义府恃宠而骄，纵容儿子、女婿卖官鬻爵，搞得家里门庭若市，影响很坏。这天，杜正伦就和李义府在朝堂上吵起来了。因为两个人都是唐高宗提拔的，所以唐高宗以大臣之间不能和睦为名，各打五十大板，双双贬往地方让他们反省去了。即便这样，李义府还是技高一筹。转过年来，他又在武则天的保护下回到了朝廷，官复原职，当了宰相。而杜正伦就倒霉了，死在了被贬的地方。李义府回到朝廷后，恶习不改，马上又耀武扬威，把一个出身于赵郡李氏的五品官李崇德逼死了。

这是怎么回事呢？李义府原本门第很低，当了官之后，他就和赵郡李氏攀亲戚，说自己也是出身名门。当时他是宰相，出身赵郡李氏的李崇德也是个谄媚之徒，想要沾他点光，两人一拍即合，这多好，都是一家人，以后有个照应。李崇德就把李义府写到他家家谱上了。这种连宗本来就是出于利益的考虑，没什么亲情可言。所以，李义府一被贬官，短视的李崇德也就不客气地把李义府又从家谱中除名了。李义府那个气呀！官复原职之后，立刻给李崇德安了一个罪名抓起来了。李崇德被关进监狱之后便自行了断，撞墙死了。这可是李义府害的第二条人命。可皇帝还是没有治罪。当时的风气不是崇尚贵族吗，李义府自己冒充不成，就想要给儿子找个贵族媳妇，没想到所谓的“五姓七望”全不给他面子，瞧不起他，都婉言拒绝了。李义府又生了一肚子气。正好当时唐高宗和武则天修了《姓氏录》，也要压制旧贵族，抬高当朝权贵的地位，李义府就趁势要求皇帝下诏严禁“五姓七望”互相通婚。然而贵族内部联姻的风俗世代相传，根深蒂固，这样强行禁止一下子招致了他们的莫大反感。既然无法明里反抗，就暗里抵制。有的贵族就不举行婚礼，偷偷把女儿送到夫家去；还有的贵族女子非常骄傲，不愿意这样不明不白地偷偷结婚，宁可终身不嫁。贵族中的破落户甚至会以“禁婚家”自诩，向求亲者索要更多的钱财。可见，社会风气的扭转不是一纸命令就能解决的。但是从李义府的角度讲，皇帝对他言听计从，也算是帮他暂时出了一口恶气。

经过几番试探，李义府认定自己是拥立功臣，皇帝和皇后对自己百般维护，无论捅了多大的娄子，都有皇帝和皇后罩着，于是越发胡作非为了。可是他没有看明白，当年皇帝纵容他，是因为他有用，可以借他打击元老重臣，推行皇帝的意志。他也没有看明白，当年皇帝纵容他，是因为皇帝和皇后站在同一条战线上，两个人不分彼此。而这样的关系，从显庆五年（660年）武则天协理朝政后就出现了变化，皇帝的人和皇后的人不再是同一班人马了。在这种微妙变化中，李义府被划入了皇后一党。皇帝不想再罩着他了。

龙朔三年（663年），李义府改葬祖父，大肆张扬，让附近七个县都派人参加义务劳动。有一个县令不知是想巴结李义府，还是抓不到劳工，反正是亲自上阵了，没想到劳累过度，死在工地上了。这县令一死，又闹出一条人命来，人们都指指点点，说宰相把县令给逼死了。这件事情搞得李义府名声很坏，可是他还不知道收敛。同一年，他又主持铨选，就是选官，那可是个肥差。李义府可能真是出身低微，上辈子穷怕了，一有机会就卖官鬻爵，把个铨选搞得乌烟瘴气。高宗见他闹得太不像话，就找了他来谈心，想给他敲敲边鼓，说：“闻卿儿子、女婿皆不谨慎，多作罪过，我亦为卿掩覆，未即公言，卿可诫勖，勿令如此。”什么意思呢？我听说你儿子、女婿都闹得太不像话了，现在我替你们掩盖着，也没宣布出来，不过你要回家整顿一下家庭内部风气，不要让他们闹得满城风雨。李义府猖狂惯了，听了之后不但不认错，反而勃然变色，恶狠狠地问：“谁向陛下道此？”言下之意，看我不修理死他！质问到皇帝头上了，高宗听了之后，不禁也动了怒，说：“但我言如是，何须问我所从得耶！”一般人到这个时候就会赶紧谢罪，可是李义府被惯坏了，他一句话没说，转身扬长而去，把唐高宗给晾在那儿了。高宗也没想到李义府竟然如此狂妄，一下子气得是七窍生烟。此时，对于高宗来说，李义府的历史使命已经完成，他再也没有必要容忍下去了。如果皇帝想要除去大臣，找到理由是相当容易的，何况李义府又是这样一个爱惹是生非的人。

很快，李义府就出事了。李义府是个迷信的人，他请了个阴阳术士为自己望气，看看自己还有多少富贵可享。术士一看，就煞有介事地说李义府宅第之上有不祥之气，屋主必有牢狱之灾，必须积财二十万缗才压得住。到哪儿筹款呢？长孙无忌他们家虽说树倒猢狲散，但拔根寒毛还是比一般人腰粗吧。于是，李义府把脑筋动到了长孙家。我们知道，长孙无忌已经在显庆四年（659年）自杀了，他的儿子也死了，孙子都流放岭南。现在有一个孙子长孙延好不容易九死一生又回到长安来了，就是一个普通百姓，没有任何官职。李义府把长孙延找了来，跟他索要七百缗的贿赂，帮他谋得一个从六品的司津监之职。这件事情立刻被人弹劾了，说李义府和犯罪人家的子弟勾结。本来，这事情也没什么大不了的，但是，皇帝的心已经变了。此刻高宗正等机会发泄心头之恨，马上派人审理。审讯结果下来，数罪并罚，李义府被除名，流放巂州（今四川省西昌市），几个儿子和女婿也被搞了个天南海北，一家人再想相见，只能等来世了。

李义府是武则天的人，虽然惹是生非，但是对武则天一直忠心耿耿，所以武则天未必不想保他。但是，武则天是个聪明人，她能够看清形势。她明白，高宗的利益和她的利益已经不完全一致了，现在是唐高宗下定决心要除掉李义府，而且，李义府劣迹斑斑，官怒民怨，如果自己再去保他，可能就会引火烧身。权衡利弊，武则天决定放弃李义府这颗棋子。不过，李义府的倒台对初涉政坛的武则天来说是一个沉重打击。本来，李义府和许敬宗是武则天安插在朝廷的两颗棋子，他们一个在中书管出旨，一个在门下管封驳，共同为武则天效力，这样，武皇后的人事安排和各项旨意都可以得到有效推行。现在，李义府一倒台，这出双簧戏就很难演下去了。

如果说，李义府事件是唐高宗和武则天为争夺权力第一次斗法的话，那么在这一回合，武则天输了。可是，更大的打击还在后面呢。