汉武帝下了很大决心，花了很大力量要抗击匈奴的侵扰，他要求臣下都要为抗击匈奴尽力，要他们挺身而出，杀敌立功。为此，他大力奖赏了作战有功的卫青、霍去病等人，对临阵怯逃、失节或战败者如王恢、狄山、李陵、苏建等，则予以严厉处治。

公元前119年，汉武帝决定命卫青、霍去病率50万大军从山西定襄出发打击匈奴。为了鼓舞士气，汉武帝亲自到郎署的时候，那里的数百武将、郎官一齐跪倒：“愿吾皇万岁，万万岁！”

武帝看他们精神抖擞，说：“你们都愿意随军出征、冒死杀敌吗？”

“愿为陛下效力，肝脑涂地，在所不辞！”数百名文武官员一齐喊道。

汉武帝高兴地点点头，心想部下的士气是多么高啊！可是，就在这时，忽然听见从一个角落里传来了一声低弱的、但十分清楚的老者声音：“小臣年迈体弱，不愿出征！”

汉武帝一愣，左右更是大吃一惊，在这样的气氛下说不肯上阵，这要处死罪啊！

汉武帝问：“你是干什么的，叫什么名字？”

那老者白发苍苍，行动蹒跚，趋过来向武帝叩头：“小臣颜驷，年已61岁，江都人氏，从文帝时代就在署下为小郎了。”

武帝迟疑一下，问道：“卿年逾花甲，为郎几十年，为什么不得提拔、升迁呢？”

老颜驷说：“陛下容禀，恕臣直言：小臣历来想忠贞报国，何尝不希望建立功名？臣已历经三代了，但都不逢时：文帝好文而臣好武；景帝好老而臣年轻；陛下您呢，喜欢提拔、重用少壮之人，可是臣已经老了，所以三世都不得重用，不是我不图长进，大概是命该如此罢了！”

武帝听了颜驷的陈述，深有所感，叹了口气，同情地说：“光阴如水，转眼百年，一个人一生能有多少时光，有贤才不知，知而不重用，以至使你大半生为郎，这都是作人主的疏忽啊！”接着，武帝又说：“颜驷白发皓首，辛劳多年，他不愿随军出征，恕他无罪。”他又转脸对颜驷说：“你这样大年纪，怀志不遇，我命你为会稽都尉，赶快准备赴任吧！”

颜驷激动得老泪纵横，连连叩头谢恩，左右文武都为颜驷直言没有得罪反而得官而惊奇，同时也慨叹像颜驷那样三世不遇的命运。