当年汉高祖刘邦为了和亲匈奴，把一位同宗的女儿册封为公主，将她嫁给冒顿单于，然后两族结为表面上的兄弟，冒顿单于的子孙都以刘氏为姓。

东汉建武二十四年（48），匈奴南疆八大部落首领共同推举日逐王栾提比当呼韩邪单于，向光武帝刘秀臣服。匈奴一族经过刘秀允许进入西河郡的美稷县（今内蒙古准格尔旗）定居，后来进一步南迁，把王廷迁移到左国城（今山西省吕梁市离石区）。东汉中平五年（188），第四十任单于栾提羌渠派其子于扶罗率兵援助东汉，讨伐自称安定王的张纯。于扶罗要回军的时候，得到了父亲羌渠单于在政变中被杀害的消息，于是就和他的部下留驻在内地，自称单于。于扶罗死后，其弟呼厨泉继位，任命于扶罗之子刘豹为左贤王。后来为了加强对匈奴的管理，曹操将呼厨泉强留邺城，把他的兵分为五部（五部匈奴事，见第四十三节“匈奴叛乱”），任命刘豹为左部帅，率左部定居于兹县（今山西汾阳市）。

刘豹的妻子怀孕十三个月，生下了儿子刘渊。这个孩子自小聪明，七岁时候母亲去世，他顿足捶胸，号啕大哭，异常悲痛，同族人都暗暗称赞他孝顺。刘渊自幼好学，拜崔游为师，博览群书，尤其喜欢《春秋左氏传》《孙武兵法》这两部。他曾经对人说：“我阅读书传，常常鄙视随何、陆贾没有武功，周勃、灌婴没有文采。随何、陆贾遇上汉高祖而不能够建立起封侯的功业，周勃、灌婴跟随汉文帝而不能兴办教育，真是可惜了！”吸取前人教训，刘渊立志要文武双全，于是开始学习武艺，后来竟也武艺精湛，少有人能比得上他。

历史上能做大事的人总要有点异常，刘渊也一样，他外貌异于常人：身材魁梧，身高八尺四寸（相当于今天的两米出头），头发三尺多长，胸口上有三根红色的毫毛，长三尺六寸。大概在曹魏景元五年（264），刘渊到洛阳做人质，安东将军、司马炎身边的红人王浑对他十分欣赏，待之以礼，诚心与刘渊结交，并让儿子王济拜见刘渊。王浑还多次把刘渊推荐给司马炎，司马炎召见刘渊面谈，只见刘渊博古通今，说得头头是道，也就对他刮目相看。王济进一步推荐道：“刘渊能文能武，陛下如果把灭吴大事交给他，定能平定。”但杨珧、孔恂等坚决反对：“非我族类，其心必异。刘渊虽然才干出众，但不能授予他兵权。”这个事情就在争议中被搁置了。

凉州秃发树机能叛乱的时候，司马炎向李熹咨询可以平叛的人选，李熹也推荐了刘渊，但孔恂坚持不同意，因为他觉得刘渊虽然可能真的能灭了树机能，但灭了树机能之后，他手握兵权，就会生出异心造反了，到时候灾难将更加深重。司马炎相信了孔恂的话。

刘渊和同在京都游历的东莱郡人王弥感情很好，他对王弥说道：“王浑、李熹和我是老乡（都是并州人），非常看重我，但他们每一次向武帝推荐我，又使我更加被忌惮，反而给我带来了危险。”说话间掉下泪来。齐王司马攸听到消息后，对司马炎说道：“陛下如果不除掉刘渊，恐怕日后并州的安稳得不到保障。”王浑当时也在旁边，他说道：“王爷怎么能这样说呢？我们晋朝用信誉和胸怀感化蛮夷，怎么可以仅凭怀疑就杀掉人质呢？你心胸不能如此狭窄！”司马炎认为王浑说得有道理。

咸宁五年（279）刘豹去世，司马炎让刘渊回去接替匈奴左部帅的位置。

刘渊到任后大展身手，赏罚严明，济困救危，待人诚恳，匈奴五部不断有英杰前去投靠，远在千里外的幽州、冀州也不时有知名人士、寒门学子前来与刘渊结交。永熙元年（290）十月，当时辅政的杨骏任命刘渊为建威将军兼五部匈奴大都督。元康末年（291—300），因为有部下叛乱并出逃塞外，刘渊被免职。成都王司马颖镇守邺城的时候，又向皇帝请奏任命刘渊为冠军将军兼五部军事，命刘渊率军驻守在邺城。司马颖算盘打得好，他自觉有了刘渊的守卫，邺城将更加安全。

刘渊的堂祖父右贤王刘宣一直怀有二心，这时候已经天下大乱，他看到机会来了，对族人们说道：“以前我们的祖先和汉结为兄弟，同甘苦共患难，但自从汉朝灭亡以来，我们匈奴单于就成了一个虚名，名下没有一寸土地，即使拥有王侯的爵位，也跟普通平民差不多。我们现在虽然弱小，但部族仍有两万多人，为什么我们要一直低头听命于人，被别人差使？我们忍辱受屈已经百年了，现在左贤王英明神武，老天如果不是为了我族复兴，绝不会让这种人物降生！司马氏骨肉相残，四海鼎沸，我们的时机已经成熟了！”他们经过秘密磋商，共同推举刘渊为大单于，刘宣派自己的亲信呼延攸前去邺城禀告刘渊。

刘渊见到呼延攸，心中大喜，因为他也在找机会脱身。他向司马颖请求回去参加一个族人的葬礼，但司马颖不批准，刘渊便让呼延攸转告刘宣，让他以支持司马颖的名义召集五部匈奴的壮士。待到王浚和司马腾起兵攻打司马颖的时候，刘渊趁机提出自己可以回去带领五部匈奴帮助司马颖。司马颖不无担忧地问：“五部匈奴士兵能不能召集起来？即便可以召集，鲜卑人、乌桓人也不好对付，我打算陪同惠帝回到洛阳，避一避他们的锋芒，然后号召天下勤王，您看怎么样？”刘渊说道：“殿下是武皇帝（司马炎）的儿子，拥有别人无可比拟的巨大声望，大家都愿意为您效命，所以我想，五部匈奴召集起来并不难。只是殿下一旦离开邺城，就是示弱于人，路上一旦遭人追击，根本无法到达洛阳，即便到了洛阳，大权也不会在您手上了。请令我回去带兵，我会用两部的兵马击败司马腾，用三部的兵马击败王浚，这两个贼人的头颅不日将悬挂在高杆上！”

司马颖大喜，封刘渊为“北单于”，批准他返回左国城。刘宣等尊奉刘渊为“大单于”，二十天之内召集了五万兵马。刘渊派刘宏率精兵五千前去跟司马颖的部将王粹会师，共同抵挡司马腾。但在刘宏还没有赶到的时候，王粹就已经被击败了，刘宏只好撤回去了。

后刘渊听说司马颖还是放弃了邺城奔赴洛阳，叹息道：“不听我的话坚守在邺城，反而自己溃散了，真是奴才！但我与他有约在先，不能见死不救。”他打算发兵攻打鲜卑、乌桓，刘宣等人劝阻道：“晋人待我们如奴隶一般，现在他们骨肉相残，是老天要抛弃他们让我们光复祖业。鲜卑、乌桓和我们的境遇相似，是可以争取过来的，为什么要攻打他们呢？”刘渊很受鼓舞，说道：“您说得对呀！大丈夫应当像汉高祖刘邦、魏武帝曹操那样建立功业！”刘宣等人忙叩头行礼。

建武元年（304）冬季，刘渊将都城从离石迁到左国城（今山西方山县峪口镇后南村）。刘渊对部下道：“过去汉朝能维持那么久的时间，是因为朝廷对老百姓施以恩德。匈奴先祖和汉朝相约为兄弟，哥哥去世由弟弟继承王位，情理上也是可以的。”于是他定国号为“汉”(1)。刘宣等人请求刘渊当皇帝，刘渊道：“现在天下没有平定，我还是效仿汉高祖，先称汉王吧。”

刘渊在南郊设立祭坛，登上王位，大赦，改年号为“元熙”。为了显示自己政权的正统性，他追尊安乐县公刘禅为孝怀皇帝，立汉高祖以下三祖五宗的神位来祭祀。之后，刘渊立他的妻子呼延氏为王后，任命右贤王刘宣为丞相，崔游为御史大夫（崔游谢绝不赴任），左於陆王刘宏为太尉，范隆担任大鸿胪，朱纪任太常，崔懿之、陈元达为黄门郎，同族侄子刘曜为建武将军。

(1) “五胡十六国”中的第二个国家建立，也是五胡十六国中第一个在中原建立的少数民族政权（成汉建立在西北）。后来汉国被刘曜改为“赵”，为了区别之后石勒建立的赵国（后赵），后人称刘渊建立的政权为“汉赵”或“前赵”，本书将它统一称为“汉赵”。