第二年，匈奴又来犯。汉武帝就派卫青率领六个将军和大队人马去抵抗匈奴。

卫青有一个外甥，叫霍去病，那时候才十八岁。他非常勇敢，又会骑马射箭，这次也跟着卫青一道去攻打匈奴。

匈奴听到汉军大批人马来进攻，就立即往后逃走。卫青派四路人马分头去追赶匈奴部队，想要把匈奴主力打败。卫青自己坐镇大营，等候消息。到了晚上，四路兵马都回来了，不过并没有找到匈奴主力，有的杀了几百个兵士，有的连一个敌人也没有找到，空着手回来。

霍去病当时还是第一次出来打仗的小伙子，只做了个校尉。他带领八百名壮士组成一个小队，去找匈奴部队。他们向北跑了一阵，一路上没瞧见匈奴兵士，一直赶了几百里路，才远远望见匈奴兵的营帐。他们偷偷地绕道抄过去，瞅准一个最大的帐篷，猛然冲了进去。霍去病眼明手快，一刀杀了一个匈奴贵族，他手下的壮士又活捉了两个。匈奴兵没了首领，四处奔逃，八百个壮士追上去又杀了两千多名匈奴兵，才赶回大营。

卫青在大营里正等得焦急，只见霍去病提了一个人头回来，后面的兵士还押了俘虏。经过审问，才知道这两个俘虏一个是单于的叔叔，一个是单于的相国，那个被霍去病杀了的是单于爷爷一辈的王爷。

十八岁的霍去病第一次参加作战，就逮住了匈奴的两个将官，这功劳可真不小。战斗结束后，他被封为冠军侯。

公元前121年，汉武帝又封霍去病为骠骑将军，率领一万骑兵从陇西出发，进攻匈奴。霍去病的兵马跟匈奴兵接连打了六天，匈奴兵抵挡不住，向后败退。霍去病和他的骑兵越过燕支山，追击了一千多里地。那边还有不少是匈奴的属国，像浑邪(25)、休屠。汉兵到了那里，俘虏了浑邪王的王子和相国，把休屠王祭天的金人也缴获了。

汉武帝为了慰劳霍去病，要给他盖一座住宅。霍去病推辞了，他说：“匈奴还没消灭，哪儿顾得上安家呢！”