苻坚以百万之众去进攻东晋，结果还没有怎么打，就意外地全线溃败，他懊悔不已，但现在也没有别的办法，只能狼狈后撤。他一边逃，前秦逃兵一边不断向他聚拢，等到洛阳的时候，他身边的将士已达十几万。
苻坚带队一路西行，不久到达了渑池，再往前走就是长安了，这时候慕容垂对苻坚说：“军队新败，北方很容易发生变乱，请您让我去镇抚他们，正好我也可以到邺城拜祭一下祖先的陵墓，我有些时日没有去过了。”
苻坚一听，觉得慕容垂说得有道理，便说道：“爱卿考虑得很周到，我同意了，你速去速回。”
尚书左仆射权翼劝苻坚道：“慕容垂有勇有谋，像雄鹰一样，有翱翔九天之志，不能放走他。”
苻坚说道：“你说得不错，但朕已经答应他了，不能食言。如果天命另有所属，人力也不能改变什么。”
苻坚派将军李蛮、闵亮、尹国率三千士兵“护送”慕容垂北上，又派骁骑将军石越率领三千精兵增强邺城的守卫力量，派骠骑将军张蚝率领五千羽林军守卫并州，派镇军将军毛当率领四千士兵守卫洛阳。
权翼决定除掉慕容垂，他派刺客埋伏在慕容垂的必经之路，等待时机，准备刺杀。但慕容垂何等聪明，他早就疑心事情有变，化装成平民百姓，划竹筏走水路逃出生天。他还让属下程同化装成自己的样子走大路，刺客行刺，程同打马狂奔，也逃过一劫。
太元八年（383）十二月，苻坚率队抵达长安城下。长安城还是那座城，但时移世易，已是物是人非了。苻坚想到了死去的弟弟苻融，想到了死去的无数将士，痛哭失声，随行的官员、将士也无不落泪。好一会儿，苻坚等人收起眼泪，进入城中。
慕容垂到达邺城时，镇守邺城的长乐公苻丕亲自出城迎接，把慕容垂一行安置到邺城西边的宾馆住宿。
慕容垂要求进入邺城祭拜祖先，苻丕拒绝，慕容垂就乔装打扮，秘密入城，但被岗哨发现，阻止他入内，慕容垂暴怒，杀死守卫，火烧岗亭，然后退走。
石越对苻丕说道：“这是天赐良机，我们正好利用这个理由除掉慕容垂！”苻丕不同意，觉得这个理由还不够，他说道：“淮南之败，他忠心护主，这个功劳不能忘。”
当初，苻坚灭前燕后，从中原把丁零人迁到新安（今河南渑池县）生活。丁零又称敕勒、高车，最早生活在遥远北方的贝加尔湖湖畔，后来逐渐内迁至中原。苻坚兵败，丁零族酋长翟斌看到有机可乘，率先起兵反秦，准备攻打洛阳。
苻坚命慕容垂率军讨伐翟斌，接到命令的苻丕准备借翟斌的手除掉慕容垂。他只拨给慕容垂两千老弱残兵和一些旧武器，还派猛将苻飞龙率领一千氐人骑兵监视慕容垂。苻丕告诉苻飞龙说：“你要找机会杀了慕容垂，好好干吧。”
慕容垂把慕容农、慕容楷、慕容绍留在邺城，亲自率军南下。当他走到安阳城外的时候，闵亮、李毗从邺城赶来，把苻丕和苻飞龙的阴谋告诉了他。慕容垂把此事告诉了众位将士，大家义愤填膺，慕容垂大声说道：“我效忠苻家，而他们却一心想害死我们父子，是可忍孰不可忍！”于是他宣称兵力不足，停驻在河内郡招兵买马。来投靠的人源源不断，十来天时间，他的队伍已壮大到八千人。
守卫洛阳的苻晖派人催慕容垂，要他尽快前来。慕容垂认为此时必须先除掉身边的苻飞龙，便对苻飞龙说道：“我们距离贼人已经很近了，应该白天休息，养足精神，晚上突袭敌军，必能大获全胜。”苻飞龙同意。
十二月二十七日夜，慕容垂和儿子慕容宝、慕容隆趁苻飞龙不备发动突袭，把苻飞龙等人全部杀死。
十二月二十八日，慕容垂渡过黄河，留下可足浑谭在河内郡的沙城驻防。这时候他已经拥有三万将士。
十二月二十九日，慕容农、慕容楷、慕容绍逃出邺城。
投奔翟斌的前燕慕容凤、王腾、段延等人在洛阳城外杀死了前秦武平侯毛当，他们劝翟斌奉慕容垂为盟主，共击前秦，翟斌同意了。
慕容垂认为即使攻下洛阳也不好防守，想攻取老家邺城，于是就率兵东进，期间不断有人来投，渐渐地，部众已达二十多万。他从石门率众渡过黄河，兵锋直指邺城。
慕容农率众来到列人县（今河北邯郸市肥乡区），说服乌桓人鲁利和张襄举众起兵，乌桓人刘大和匈奴屠各部落的毕聪等也前来投靠，渐渐聚拢了数千人。慕容农暂命张骧为辅国将军，刘大为安远将军，鲁利为建威将军。
慕容农率军先后攻取了馆陶、顿丘，缴获了大量辎重粮草。这时候又有数量可观的将士过来投靠，慕容农的部众达到数万人，他为了稳住他们，代表父亲慕容垂进行封赏。慕容农军令严整，不扰民，得到老百姓的拥护。
苻丕命石越领兵一万攻打慕容农。太元九年（384）元月七日，石越带兵到达列人县，他命人构筑栅栏，不敢轻易发动攻击。慕容农命刘木为先锋，率领四百士兵冲入石越阵地，石越败退，慕容农率队随后掩杀，力斩石越，把人头送给了慕容垂。
毛当、石越都是前秦数得着的猛将，他们先后阵亡，前秦顿时惶恐不安，人心离散。
太元九年（384）元月二十六日，慕容垂和慕容农在邺城城外会师。慕容垂称自己为大将军、大都督、燕王，改年号为“燕王元年”。之后他封世子慕容宝为太子；任命弟弟慕容德为车骑大将军，封范阳王；侄子慕容楷为征西大将军，封太原王；其他人等也各有封赏。
至此，五胡十六国中的后燕建国了。
苻丕派侍郎姜让去责备慕容垂：“去年你保住了大秦，可谓忠心耿耿，现在就应该一如既往，成就名节。你现在改过还不算迟，请详加思考。”
慕容垂对姜让说道：“我蒙受主上的恩遇，所以不忍心伤害长乐公。我将恢复旧土，请他主动撤军回长安，这样我们还能结为友邦，如若不然，悔之晚矣。”