刘彻很着急，不知道之后怎么压制住卫青的势力。他宁愿让许多军事行动所用非人，也不愿起用卫青重掌军权。卫青很聪明，干脆请病假，之后不怎么上朝了，进一步地韬光养晦。刘彻不怎么放心，在第二年（元鼎元年，公元前116年）以卫青的儿子宜春侯卫伉犯法为名，削去卫伉的爵位。几年后，卫青的另两个儿子阴安侯卫不疑、发干侯卫登因为献给朝廷的助祭金的分量不足或成色不够，被汉武帝削去爵位。至此，卫家“一门五侯”事实上只剩下卫青孤零零的一个长平侯了。卫青的“病情”随之越来越重，不怎么过问家门之外的事情了。
元封五年（公元前106年），一代名将卫青去世。汉武帝也为卫青举办了风光隆重的葬礼，命人在茂陵东边为卫青修建了一座像庐山（匈奴境内的一座山）的坟墓，给予和霍去病同样的待遇。
卫青死后，长子卫伉继承了长平侯的爵位，但卫家的权势已不能与十多年前相提并论了。尽管如此，卫家依然是西汉王朝权势最旺的大家族。因为这个家族崛起的另一大支柱：皇后卫子夫和太子刘据的地位岿然不动。卫家在后宫的地位也是卫家的地位。更值得一提的是，卫青的姐夫公孙贺出任了丞相。这也给卫家的权势增添了不少的光芒。
刘据是卫青的外甥，卫青、霍去病死后，刘据就是卫家最重要的权势人物了，更是卫家的大希望。只要刘据登基，卫家的权势起码能继续几十年。汉武帝刘彻二十九岁的时候好不容易才有了第一个皇子，也就是刘据。他格外珍惜刘据，努力将刘据培养成合格的接班人。刘据没有辜负父亲的期望，学习认真，能力出众，表现出了接班人的合格品质。
刘据一天天长大，情况却发生了变化。刘据的政治行情“看涨”就意味着卫家的政治行情“看涨”。刘彻终生致力于巩固皇权，对于外戚家族与太子的紧密联系打心底里没有好感。所以，他对于是否要传位给刘据，心中有了一丝阴影。
有人说，儿子总比外甥要亲。刘据会向着刘家，不会向着卫家的。汉武帝刘彻也这么想，可他渐渐地发现刘据这个儿子并不怎么向着自己，反而在许多问题上和自己唱反调。这让做父亲的很恼火。刘彻独尊儒术，他给儿子找的老师都是儒生，教的也是儒家思想，认真学习的刘据自然精通儒家知识，性格仁恕温谨。而刘彻只是表面推崇儒学，内心是将儒家作为统治工具。刘彻真正崇尚的是绝对的权威和强法，儒学有用的时候拿来装点门面，没用的时候毅然弃之不用。小刘据没能真正体会老父亲的苦心，严格按照儒家理论办事，父子俩在政治理念上产生了不可调和的矛盾。汉武帝连年用兵、对外征战，运用强权削藩罢侯，征收繁重的赋税，刘据在这些问题上都不赞同父皇的做法。汉武帝慢慢老了，觉得儿子不像自己，更担心儿子没有驾驭天下的能力。
皇后卫子夫看着儿子和丈夫之间的隔阂，心里着急。卫子夫能够做三十八年皇后，除了和卫青一样谨小慎微、恭谨谦和外，还在于她遇事有主见，能够向别人施加影响来实现自己的目的。比如，卫子夫知道卫青的几个儿子不成才，怕他们风头太盛出问题，多次请求丈夫刘彻不要封赏卫青的儿子，以退为进，实际上是保护自己的侄子。现在，卫子夫看到儿子老违背丈夫的意思，就经常劝诫儿子：“作为太子，你要经常揣摩父皇的心思，理解父皇的意图，按照父皇的要求去做，不能擅自做主，做一些与父皇的想法不一致的事，比如平反冤狱。这本是你父皇制造的冤狱，你却给予平反，不是否定你的父皇吗？”可惜，刘据沉溺于儒家说教太深，对母亲的忠告听不进去。
刘彻对刘据基本上是满意的，但是对刘据在很多问题上顶撞自己深感不快。他曾经语重心长地对刘据说：“我做的很多事情，你都不赞同，但我这样做是为了你将来能够安享太平！”可惜刘据依然在若干问题上与父皇唱对头戏。
卫青死后，刘据失去了重要的外朝屏障。刘彻对刘据很无奈，但根本没有想到过撤换太子的问题。然而，刘彻和刘据这对父子之间最后还是爆发了兵戎相见的血腥政变，血染长安城，史称“巫蛊之祸”。
所谓巫蛊，就是利用扎木偶、下咒语等迷信手段，陷害他人。汉朝法律严厉禁止巫蛊，刘彻本人对巫蛊深恶痛绝。刘彻步入晚年后，身体越来越不好，更加对巫蛊敏感。他住在长安的时间越来越少，长年累月逗留在离宫甘泉宫中。父子见面的时间越来越少了，本来心里就有小疙瘩，现在因为疏远恶化成了心理隔阂。
刘据得罪的那些贪官酷吏、权谋小人在刘彻面前搬弄是非，离间父子关系。酷吏江充，出身卑微，依靠不断检举他人、刑讯逼供一步一步爬上来。太子刘据很讨厌他。江充怕太子继位后惩办自己，就勾结太监苏文等人要扳倒刘据。卫青的姐夫、丞相公孙贺不巧因为巫蛊被牵连下狱。江充等人就使劲把“巫蛊”的脏水往卫家和太子身上泼。
父子隔阂、交流不畅、对权臣家族的猜忌，现在加上“巫蛊”嫌疑，汉武帝刘彻随即授权江充彻查太子与“巫蛊”的关系。于是，事情恶化为刘彻、刘据父子俩指挥各自的军队在长安城里混战了几天几夜，只杀得鲜血淹没了街道，汇聚成了赤红的河流。
混战的结果是，刘据一帮人寡不敌众，遭到了血腥的镇压。刘据悬梁自尽，他的四个子女同时遇害。政变平息后，震怒的刘彻派人收缴皇后的玺绶，要废掉卫子夫。卫子夫在宫中自杀。太监找了口薄棺材，将卫子夫草草埋葬在长安城南的桐柏。汉书说至此“卫氏悉灭”。
卫家是汉武帝时期的一个传奇。卫子夫从歌女到皇后、卫青从骑奴到大将军，家族相关人等在朝野盘根错节，缔造了一个神话。尽管权势熏天，但这个家族安分守己，并没有什么“负面新闻”，卫家的主要人物还为西汉王朝做出了突出贡献。可他们遇到了一个强权君主，一个晚年多疑的刘彻，顷刻之间就被连根拔起，满门抄斩，令人惋惜感慨。
政治崇尚丛林法则，两强相遇必有一伤。强盛的权力家族和强权的专制君主，在同一个时间内只能存在一个，不可能和睦相处、分享权力。这就是卫青家族不能在汉武帝时代永享富贵的大道理。