当年，匈奴冒顿单于击破东胡，东胡分裂，鲜卑秃发部的首领匹孤率领部族到了今天的甘肃中西部及内蒙古西部一带，自称河西（黄河之西）鲜卑。匹孤死了后，他儿子寿阗（tián）继承了他的位置。因为寿阗的母亲睡觉的时候在被子上生了他，鲜卑称被子为“秃发”，所以后来这个部族就用“秃发”作为姓氏了。

西晋泰始六年（270）的时候，秃发部首领秃发树机能起兵反晋，先后杀死了西晋的三位凉州刺史，搅得西晋乱了十年，终于被名将马隆给扑灭，秃发树机能也被杀死。后树机能的堂弟务丸统领了部众，务丸死后，其孙推斤继位，推斤死后，其子思复鞬继位。思复鞬是个有作为的酋长，在他统治期间，秃发部落的人马逐渐强盛起来。思复鞬去世后，他的儿子乌孤继位。秃发乌孤非常勇猛，心怀大志，他鼓励农耕养蚕，大力招揽人才，注重军队训练，和近邻修好，部落蒸蒸日上。

后凉三河王吕光准备把秃发乌孤的部落收编了，派使者传令，任命秃发乌孤为冠军大将军、河西鲜卑大都督、广武县侯。秃发乌孤召集部下商量，他问道：“吕氏从大老远派人过来授予我官职，我应该接受吗？”部下众口一词道：“我们兵强马壮，为什么要依附别人，听别人差遣？”

秃发乌孤一听，正待点头，往座下观瞧，却见部将石真若留若有所思，没有附和大家的发言，便问他道：“你在担心什么，是不是害怕吕光？”

石真若留回答道：“目前我们根基未稳，和吕光军队的差距相当大，且吕光治国有方，国内一片祥和，识时务者为俊杰，您应该接受吕光的官职，韬光养晦，以待时日。如果拒不接受，吕光派军来攻打我们，到时候恐怕后悔也来不及了。”

秃发乌孤听得真切，感觉石真若留句句在理，就接受了吕光授予的官职。

秃发乌孤派兵讨伐不听话的乙弗、折掘两个部落，大胜。他命部将石亦干建造了廉川堡（今青海海东市民和回族土族自治县川口镇西北史纳村），把他们全部安置在那里居住。

秃发乌孤登上廉川的大山，俯瞰脚下大地，默默无语，流下了眼泪。石亦干揣摩主君的心思，说道：“大王暗自伤神，是因为吕光吗？吕光已经老了，在走下坡路，我们现在逐渐强大，占据有大川，将士们可以以一顶百，还害怕个什么吕光！”

秃发乌孤说道：“祖宗当年用恩德召唤四方，即使卢陵、契汗也从万里之遥前来归附，但到了我继承祖业，各部不断背叛，近邻安抚不住，远方的更没有依附我们的理由，这是我流泪的原因。”

部将苻浑说道：“大王应该整饬军队，讨伐他们。”

秃发乌孤同意，派军一一讨伐，把各部打得大败。吕光得知，封秃发乌孤为广武郡公。之后，秃发乌孤又征服了意云鲜卑。

吕光登上天王宝座，建立后凉，又派使者任命秃发乌孤为征南大将军、益州牧，封左贤王。

秃发乌孤对使者说道：“吕王当年靠着武力占有了凉州，但他不能以德服人，以仁义对待百姓，他的儿子们皆是贪得无厌之辈，三个外甥又肆意施暴，百姓充满怨恨，我怎么能违背百姓心意，去接受不义的爵位？帝王之道，有德则昌，无德则亡，我将顺天应人，做天下之主。”他留下乐队和仪仗，把使者打发走了。

隆安元年（397）正月，秃发乌孤自称大都督、大将军、大单于、西平王，颁布大赦。史称秃发乌孤建立的国家为南凉，为五胡十六国之一。

秃发乌孤在广武（今甘肃永登县）集结兵马，攻克后凉的金城。吕光派将军窦苟率军讨伐，两军在街亭大战，后凉不敌，大败。