匈奴自从被卫青、霍去病打败以后，和汉朝好几年都没有打仗。他们口头上表示要跟汉朝和好，可实际上还是随时想进犯中原。

匈奴的单于一次次派使者来求和，可是汉朝的使者到匈奴去回访，有的却被他们扣留了，所以汉朝也扣留了一些匈奴使者。公元前100年，汉武帝想出兵攻打匈奴，匈奴却派使者来求和，还把汉朝的使者都放了回来。

汉武帝为了回报匈奴的善意，就派中郎将苏武拿着旌节，带着副手张胜和随员常惠出使匈奴。苏武到了匈奴之后，送回扣留的使者，送上礼物。苏武正等单于写个回信让他回朝，没想到就在这个时候，出了一件倒霉的事儿。

苏武没到匈奴之前，有个在汉朝为官的胡人叫卫律，在出使匈奴后投降了匈奴。单于特别重用他，封他为王。卫律有一个部下叫虞常，对卫律很不满意。虞常跟苏武的副手张胜之前是朋友，就暗地里跟张胜商量，想杀了卫律，劫持单于的母亲，逃回中原去。张胜表示同意，没想到虞常的计划没成功，反而被匈奴人逮住了。单于大怒，叫卫律审问虞常，还要查问出同谋的人来。

苏武本来不知道这件事，到了这时候，张胜怕受到牵连，才告诉苏武。苏武说：“事情已经到了这个地步，一定会牵连到我。如果让他们审问过后再死，不是更给朝廷丢脸吗？”说罢，就拔出刀要自杀。张胜和随员常惠眼快，夺去他手里的刀，把他劝住了。