建兴四年（316）十一月的时候，汉赵骠骑大将军石勒率军进攻晋朝的乐平郡（今山西昔阳县），把太守韩据围困在城中，韩据向顶头上司并州刺史刘琨紧急求援。

不久前，拓跋鲜卑因为代王王位之争引发内乱，箕澹、卫雄等人率领辖下三万多户汉人和乌桓人，赶着十来万头牲口前来投靠刘琨，刘琨的实力因此迅速增强。现在接到韩据的求救信，刘琨就想利用这支精锐部队去斗一斗石勒。

箕澹和卫雄劝阻道：“我们带来的这些人长期与中原隔绝，对您还不是很了解，对您的忠诚度还不高。我们现在不如坚壁清野，紧守关卡。假以时日，这支部队感受到您的恩德后，他们就会甘心受您驱使，为您效命，到时候必定可以一战而胜。”刘琨道：“两位将军言之有理，可是目前韩据受困，危在旦夕，我们不能见死不救。”他还是决定出兵，开始调兵遣将，命箕澹率领两万步骑兵作为前锋，自己带兵作为后援部队，前去解救韩据。

探报报给石勒，说箕澹等率兵来攻，石勒就要派兵前去阻截，有谋士建言道：“箕澹是员猛将，他率领的部队兵强马壮，士气正盛，我们最好避其锋芒，修筑工事，挫其锐气，这样一来，最后胜利的一定属于我们。”

石勒不以为然：“箕澹军队数量虽然不少，但远道而来，人困马乏，何谈强悍？大敌当前，我们一旦撤退，敌人趁机追击，我们就只能自顾逃命了，还如何去修筑工事？这是自取灭亡之道！把这瞎出主意的人给我推出去斩了！”顿时，这位谋士人头落地。

石勒派心腹大将孔苌为前锋都督，严令三军：“奋勇杀敌者，有赏；迟疑后退者，斩立决！”

石勒占据山上的有利地形设置伏兵，然后派出轻骑迎战，命令这支部队只许败不许胜。两军交战，石勒部队不敌溃败，箕澹哈哈大笑道：“石勒不过如此！”他让部队乘胜追击，很快就进入石勒的埋伏圈。石勒部队前后夹击，箕澹大败，仅有一千多骑兵逃出包围，石勒部队缴获铠甲、战马数以万计。韩据一看援军失败，也丧失了信心，弃城逃跑了。

刘琨的长史李弘看到石勒势不可挡，献出并州州城投降了石勒。经营了十余年的并州州城丢失，刘琨一下子陷入进退两难的境地，不知道下一步该怎么办好。正在这时，幽州刺史段匹磾（dī）派人来见刘琨，带来了一封信件。在信中，段匹磾热情邀请刘琨到幽州共事。正瞌睡呢来了一个枕头，刘琨很是高兴，欣然率队前往。

占领并州的石勒重新任命了太守、县令，然后把部分百姓强制带上路，班师返回自己的总部襄国（今河北邢台市）。他留下了孔苌继续追击，直追到代郡（今河北蔚县东北），杀死了箕澹。

十二月五日，刘琨率领部队到达幽州州府蓟县，段匹磾亲自出城迎接，对刘琨非常热情，问寒问暖。之后他们还结为姻亲，结拜为异性兄弟。刘琨和段匹磾两个人歃血为盟，对天发誓，要忠心辅佐晋室。

建兴五年（317）三月，长安陷落，晋愍帝司马邺被俘和司马睿即晋王位的消息传到刘琨和段匹磾这里。九日，刘琨向全国发布檄文表示对司马睿的支持，还派外甥左长史兼右司马温峤（温峤姨妈是刘琨的妻子）与段匹磾的左长史荣邵一同到建康，向琅琊王司马睿呈上一百八十人联名的表奏，劝司马睿登基称帝。

之前，刘琨曾对温峤说：“当年班彪意识到刘氏还会复兴，马援知道光武帝刘秀值得辅佐。现今晋室虽然国运衰微，但天命并未改变，我欲在河朔（黄河以北）建功立业，让你到江南扬名，你愿意吗？”

温峤当时三十岁了，博览群书，仪表堂堂，能言善辩，也是一时之名士。他听到刘琨这么说，回答道：“我虽然没有管仲、张仪的才能，但您有桓公和文公的志向，您想要联合各方力量来匡定天下，我岂敢推辞！”

刘琨考虑得很周到，他要把温峤安排到司马睿那里做自己的眼线，替自己说话，同时也让他去化解敌对势力在司马睿那里说的对自己不利的言论。

建武元年（317）六月十五日，温峤等人到达建康，被引荐到晋王司马睿那里，司马睿看温峤一表人才，很是喜欢。温峤向司马睿陈述了刘琨的忠心，献上刘琨和段匹磾等一百八十人的联名上表，恳请司马睿登基。司马睿没有马上答应，但回信给刘琨和段匹磾，对他们的忠心表示肯定和鼓励，让他们团结一心，积蓄力量，等待时机，并要求他们有事要及时禀报。

对于有些人来说，朋友是用来出卖的。尽管刘琨和段匹磾“拜把子”的仪式搞得像模像样，但段匹磾对刘琨始终不放心。建武二年（318）六月，段匹磾找机会把刘琨杀害了，刘琨死时年四十八岁。

在被段匹磾关押的时候，刘琨知道自己必死无疑。他并不怕死，但对于自己的抱负无法施展，他感到深深的遗憾和无奈，他写了一首诗给自己的好友卢谌，诗中说：“何意百炼钢，化为绕指柔。”