从西汉末年起，有一部分匈奴人分散居住在北方边远郡县，他们和汉族人相处久了，接受了汉族的文化。匈奴贵族认为祖先多次跟汉朝和亲，是汉朝皇室的亲戚，后来就改用汉朝皇帝的姓——刘。曹操统一北方后，把匈奴三万个部落分为五个部，每个部都设部帅，匈奴贵族刘豹就是其中一部的部帅。

刘渊是刘豹的儿子，从小聪明伶俐，读了许多汉族人的书。他身强力壮，武艺高强，能够拉得动三百斤重的大弓。

公元264—265年，刘渊作为匈奴五部的质子来到洛阳，见到了当时掌权的司马昭。

司马昭上下打量刘渊，发现他相貌堂堂，身材魁梧，同时又满腹文韬武略，非常欣赏，并希望刘渊能够为自己所用。但是曹魏大臣孔恂等人认为刘渊是匈奴人，并非汉族，恐以后有反心，不堪录用，因此坚决反对。经过这些人的多次劝说，司马昭只能忍痛割舍了刘渊，把刘渊闲置在洛阳。