刘渊被困在洛阳无计可施时，匈奴传来消息，刘渊的父亲刘豹去世了。刘渊趁机解除了自己的质子生活，带领军队返回匈奴五部，继承了父亲的职位。

公元289年，朝廷下令封匈奴五部将领为五部都尉，后来又成了五部大都督。刘渊很高兴，这算是由朝廷正式确立了他在匈奴五部的地位。受到极大振奋的刘渊开始励精图治，用自己多年所学来治理匈奴五部。

但是好景不长，因为匈奴五部中有人叛逃，引起朝廷震怒，刘渊被罢免了五部大都督的职务，被迫到成都王司马颖手下当了个宁朔将军。

此时的刘渊就好比龙困浅滩，在积蓄一飞冲天的力量。