咸宁五年（279年），匈奴左贤王刘豹去世，刘渊子承父业，成为匈奴左部帅。他的才华得以发挥，严刑法，禁犯罪，休养百姓，轻财重士，一时间匈奴五部都唯刘渊马首是瞻。以大将刘宣的说法：老天是要光复我们大单于的光荣伟业，才会让左贤王刘渊这样的伟人诞生。

晋惠帝年间，“八王之乱”爆发。

在此天下大乱之际，刘渊被成都王司马颖任命为宁朔将军，监五部军事，驻军邺城。

并州五部匈奴的大头领如刘宣等，都以为现在中原司马氏正骨肉相残，时局动**，正是起事的良机，遂密谋推举刘渊为大单于，派人到邺城接他。但司马颖不放人，刘渊只能让人先回并州，令刘宣等人召集五部人马，对外声称支援司马颖，准备起事。

司马颖连续击败司马家其他王的人马后，碰上并州司马腾和王浚的部队，他们的部队中有很多鲜卑、乌丸骑兵，来去如风，英勇善战。

司马颖对刘渊说，他打算率军送皇帝回洛阳，弃守邺城。

刘渊知道机会来了，他先是劝司马颖不要放弃邺城，因为这样一示弱，大势去矣！接着他说：鲜卑骑兵虽然精锐，但还是不如五部匈奴，现在请大王镇守邺城，我去率领五部匈奴军队前来参战，以二部摧毁司马腾的部下，以三部消灭王浚的人马，几天后就把这两个人的脑袋挂在邺城的城楼上！

司马颖笑得合不拢嘴，封刘渊为北部单于。

就这样，刘渊平安到达左国城，刘宣等即举刘渊为大单于，二十天内就聚集人马五万，但他没有再理会司马颖，而是准备建国称雄。

刘渊说：我们是当为高山的人，怎可回去做土丘呢？天下应该归有德者所有，无论是否是汉人，周文王出生于西夷！我将来最理想的，就是成就汉高祖刘邦那样的基业，最差也可以成为曹操！

十几万匈奴大军是刘渊的倚仗，他们莫不以一当十，以此伐晋，必定能摧枯拉朽，开创匈奴的新局面。

在建立匈奴帝国的过程中，刘渊表现出卓越的政治眼光。

他提议定国号为“汉”：我们匈奴从高祖刘邦时就约为汉朝兄弟，如今汉朝已灭，兄终弟及，那是天经地义的事，我们定国号为“汉”，必能使天下人归心。

永兴元年（304年），刘渊在左国城称汉王，置百官，高调宣布雄起，公然向晋室的权威叫板，成为晋末少数民族南下侵犯中原时领导众人的老大哥。

公元304年之后，刘渊连续击败多路晋军，进一步占领了河东地区，迁都到蒲子。

汉国名声大振，各地豪杰，如羯人石勒、氐人单徵、鲜卑陆逐延、他的老朋友王弥等都加入了刘渊的部队，一时间汉军声势浩大，人才辈出。

除了前来投靠的，刘氏族人也很争气。刘渊的第四子刘聪能开三百斤硬弓，义子刘曜一箭可洞穿一寸厚的铁板，号称“贯铁”，他们的神勇非同凡响，难得的是还饱读诗书，可谓文武双全。

永嘉二年（308年），刘渊得到一个印，上书“有新保之渊海光”，大家以为这是个好兆头。不久后刘渊正式称帝，迁都平阳，加大了对晋室的进攻力度。

仗打到永嘉四年，汉军与晋军已来来回回拉锯了多个回合，晋军多数时候虽都战败，但还守住了几条防线。汉军占领上风，但要一口吞掉晋室，火候尚没有到。

这一年七月，刘渊得病去世。

一番争斗后，刘聪继位，继续进攻晋室，终于在永嘉五年（311年）攻陷洛阳，俘虏了晋怀帝司马炽，并于次年将他杀死。

消息传到长安，晋太子司马邺继承大统，汉军继续进攻，在公元316年攻克长安，又俘虏了司马邺，西晋终于灭亡。