晋的并州刺史刘琨孤悬汉赵后方，缺兵少粮，处境艰难，但他仍然坚持战斗，不向汉赵屈服。不断有中原流亡人士辗转来投靠他，刘琨均予以抚慰，但他擅长语言安抚，却缺乏有效的留人手段，往往一天之内有数千人来投，但不久其中的很多人就又离开了。

当初，刘琨因深感势单力孤，派人带着金银珠宝等丰厚礼物，言辞谦恭地出使拓跋鲜卑。与拓跋鲜卑的首领拓跋猗卢结拜为异姓兄弟后，刘琨上奏朝廷，请求封拓跋猗卢为大单于，并把代郡（今河北蔚县）赐给他，封他为代公。这时候的代郡属于幽州，刘琨也没有和幽州刺史王浚商量，就擅自这样奏请朝廷，这让王浚很愤怒。王浚派兵阻拦拓跋猗卢，不让他进入代郡，但被打败。王浚被打得灰溜溜的，对刘琨更是怨恨。

拓跋猗卢觉得代郡距他的总部盛乐（今内蒙古和林格尔县）太远，要求朝廷改将陉岭（即今雁门山）以北封给自己。这是刘琨的地盘，但对此刘琨也无可奈何，毕竟实力在那里摆着。他把陉岭以北五个县的人迁到陉岭以南，把这五个县划给了拓跋猗卢，从此以后，拓跋鲜卑实力更为壮大。

面对国家危局，刘琨派儿子刘遵向代公拓跋猗卢请求发兵援助，然后又命高阳郡（今河北高阳县）太守刘希到幽州招募流民，一时间来投靠的有三万多人。对这件事，幽州刺史王浚气不打一处来，他心想：你刘琨要干什么？上次让拓跋鲜卑的人占领我的地盘，这次又到我地盘上来强夺人口，是可忍孰不可忍！刘琨依靠拓跋鲜卑，王浚则和慕容鲜卑交好，他依靠慕容鲜卑中最强悍的段部的帮助，力斩刘希，把之前刘希招募的三万人全部留了下来。都这个时候了，刘琨和王浚还在搞窝里斗！

刘琨豪气干云，向全国发布讨贼檄文，约定在永嘉六年（312）十月在汉赵首府平阳会师，一举消灭汉赵。

和当时的名士一样，刘琨的生活非常奢侈，他最喜欢的是音乐和美女。徐润精通音律，受到刘琨的厚爱，被任命为晋阳县长。徐润狐假虎威，仗势欺人，不断干预政事，护军令狐盛为人正直，多次劝说刘琨干脆杀了徐润，但刘琨不以为意。后来徐润得到消息，不断地诬陷令狐盛，刘琨终于被激怒，错杀忠臣。

刘琨的母亲郭氏对他说：“你没有能力驾驭豪杰为你办事，只知道除掉胜过自己的人来求得自我安慰，你拿什么来获得成功呢？如果继续这样下去，不但你会遭受祸事，我也必定会有祸上身。”

令狐盛被杀，他儿子令狐泥一气之下投奔了汉赵，他告诉刘聪，晋阳并没有多少兵力把守，应该尽早发兵夺取。刘聪一听大喜，派遣大军进攻晋阳。刘琨一面派人修复城墙，加强防范，一面派人向拓跋鲜卑求救。几战下来，晋阳虽然得保，但刘琨也是损兵折将，拓跋铁骑又还没有来，远水难解近渴，城内力量已经不能承受匈奴的再次攻击了。

日头西沉，刘琨内心异常焦躁，他来回踱步，苦思冥想退敌之计。刘琨不愧为才子，他突然想到当年“四面楚歌”的故事，计上心头。

胡笳是种形制简单的乐器，匈奴人在牧马喂羊之际，喜欢演奏这种乐器解闷。汉末群雄争霸，南迁的匈奴趁火打劫，进入中原劫掠，还抢走了才女蔡文姬，强迫她嫁给了匈奴左贤王。蔡文姬在胡地生活了十二年，思念故乡却又无处倾诉，只好借助胡笳来表达自己的心情，因此创作出了《胡笳十八拍》。这曲子演奏起来如泣如诉，听后让人伤感叹息，肝肠寸断。美好的音乐能引起所有人的共鸣，匈奴人对《胡笳十八拍》同样也非常喜欢。

刘琨的音乐才华这次要派上用场，他借助夜色登上晋阳城楼的最高处。匈奴人从远处观望，只见晋阳城楼上，一个玉树临风的帅哥手持胡笳，吹奏出的曲子委婉凄凉。匈奴人刚开始只是感到好奇，听着听着渐渐被忧伤的情绪包围，如泣如诉的胡笳声唤起了他们对故乡的强烈思念，几曲下来，匈奴士兵们已经是泪流满面。悲伤的情绪不断蔓延，他们想起自己的父母、妻儿，一个士兵首先脱队，慢慢地，越来越多的士兵开始撤离，后来一发不可收拾，大多数兵士都掩面而去。将军一看，这仗没法打了，撤吧！匈奴人全部撤走，晋阳暂时得以保全。

刘琨“胡笳退匈奴”的故事一传十十传百，成为一时美谈。

晋愍帝司马邺继位后，任命并州刺史刘琨为大将军、都督并州诸军事，加散骑常侍。