居住在张掖郡（今甘肃张掖市）的卢水匈奴部落酋长是沮渠罗仇，他的祖先是匈奴的左沮渠，所以就以官名作为姓氏。卢水，一说今天的甘肃省黑河，一说在今天的石羊河，这两条河是河西走廊上的两大水系。

先前，后凉王吕光任命沮渠罗仇为尚书。沮渠罗仇和弟弟三河郡太守沮渠麹（qū）粥率军随吕光一起讨伐西秦乞伏乾归，但战事不顺，吕光的弟弟吕延战死。

沮渠麹粥对沮渠罗仇说道：“主上年老昏庸，放纵子弟，亲近小人，听信谗言。这次军事行动失利，亲信大将战死，主上肯定要找替罪羊，我们兄弟必定会受到猜忌。与其被杀，不如率领本部人马进攻西平郡，闯过苕藋（tiáodiào，今甘肃永昌县），到时我们振臂高呼，不愁凉州不能平定。”

但沮渠罗仇拒绝出走，他说道：“你说得不错，但是我们家世代都以忠孝闻名一方，宁可人负我，不能我负人。”

果不其然，吕光听信小人的谗言，把军事失败归结于沮渠罗仇和沮渠麹粥兄弟，把他们斩首了。

沮渠罗仇的哥哥沮渠法弘曾任前秦苻坚的中田护军，他的儿子沮渠蒙逊博览史书，对天文学非常有研究，具有雄才伟略，统领了父亲留下的部众。他护送两位叔叔的灵柩返回张掖郡，宗族内来参加葬礼的有一万多人。

沮渠蒙逊一把鼻涕一把泪地对众人说道：“当年汉室衰微，我们祖先辅佐窦融（东汉名臣），使河西一带得到安宁，人民安居乐业。如今吕光老迈昏庸，荒**无道，滥杀无辜，我准备为两位叔叔报仇，恢复祖宗大业，你们意下如何？”这话一出，众人纷纷举双手表示赞同，大呼万岁。他们杀死了后凉的中田护军马邃和临松县令井祥，进行盟誓，然后用十来天的时间，聚集起了近万人的队伍。

隆安元年（397）四月，沮渠蒙逊领兵攻克了临松郡。吕光派遣太原公吕纂带兵攻打沮渠蒙逊，沮渠蒙逊不敌，逃进大山之中。

沮渠蒙逊的堂兄沮渠男成这时候正担任后凉的将军，他得到沮渠蒙逊起兵的消息，也举兵反了后凉，聚集了几千人进驻乐涫（guàn，今甘肃酒泉市）。酒泉太守垒澄带兵去讨伐他，结果兵败被杀。

沮渠男成率军进攻建康郡（今甘肃酒泉市东南）。他派使者去游说建康太守段业（汉人）：“吕氏势微，当权官员专横跋扈，拿法律当儿戏，随心所欲，人民怨声载道，仅仅是在凉州的地面上，百姓拿起武器反抗的事就接连不断，后凉土崩瓦解已经是在所难免了。人民饥饿困苦，无所依靠，您身负奇才，为什么非要效忠一个濒临灭亡的政权？我们倡导大义，准备委屈阁下出面领导本州，使人民能够得到喘息机会，恢复生产，请问您是否答应？”

段业想到造反可是灭九族的重罪，就坚决不同意，把来使打发走了。沮渠男成也不再周旋，率军直接攻城。双方的战斗进行了二十来天，城内渐渐不敌，可这时候援兵又不到，城池很快就要被攻下了，段业等人急得团团转。本郡人高逵、史惠劝段业接受沮渠男成的提议，段业见眼下没有别的好办法，而且自己历来也与后凉侍中房晷、仆射王详关系不好，经常为此焦虑不安，于是就听从劝谏，接受了沮渠男成的提议。

隆安元年（397）五月，沮渠男成等人推举段业为大都督、龙骧大将军、凉州牧、建康公，更改年号为“神玺”。段业任命沮渠男成为辅国将军，将军政大权统统交给他掌管。史称沮渠男成建立的政权为北凉，为五胡十六国之一。

沮渠蒙逊得到消息，率众来投，段业任命沮渠蒙逊为镇西将军。

吕光命令太原公吕纂带领部队讨伐段业，但不能攻克。