桓温去世后，晋廷任命谢安为尚书仆射，领吏部，加后将军，和王坦之共同辅佐朝政，后王坦之到地方上担任徐、兖二州刺史，镇守广陵，朝廷便下诏命谢安总管中书事。不久，朝廷晋升谢安为中书监、骠骑将军、录尚书事，谢安推辞军衔。

谢安尽心辅佐朝政，他为人性格温和，推行德政，任用文武大臣时从不吹毛求疵，而是看重此人的大义。朝臣们都将谢安和王导相提并论，并且认为谢安比王导更为文雅。

现在前秦统一了北方，下一个作战目标就是江南了，谢安看得很明白，下令让淮河以北的老百姓南移。

太元二年（377）八月，朝廷晋升谢安为司徒，谢安再次推辞，朝廷又任命谢安为侍中，兼都督扬、豫、徐、兖、青五州诸军事（此时王坦之已经去世）。

八月二十五日，征西大将军、荆州刺史桓豁去世。十月，朝廷任命桓冲为都督江、荆、梁、益、宁、交、广七州诸军事，兼荆州刺史，任命桓冲的儿子桓嗣为江州刺史。直到这时，重镇荆州还牢牢掌握在桓家人手里。

朝廷任命五兵尚书王蕴为都督江南诸军事，兼徐州刺史。王蕴是司马曜的皇后王法慧的父亲，为人性情平和，他认为自己是沾了皇亲国戚身份的光才受到重用，因此推辞不接受徐州刺史的职务。谢安劝王蕴道：“您是皇后的父亲，地位尊崇，不应妄自菲薄，辜负了皇帝的恩遇。”王蕴这才前去赴任。

朝廷又任命征西司马、南郡相谢玄为兖州刺史，兼广陵相，监长江以北诸军事。谢玄是我国历史上著名的军事将领，这里对他做一介绍。

谢玄，字幼度，是谢安大哥谢奕的儿子，出生于建元元年（343），他自幼聪明，很受叔父谢安的器重。谢玄有个著名的才女姐姐叫谢道韫，我们以后还要讲到她。少年时的谢玄喜欢佩戴紫萝香囊，谢安对此感到忧虑，担心谢玄会玩物丧志，但又不想直接让他取下来，因为这样有伤谢玄的自尊心，于是就和谢玄打赌，谢玄赌输了，谢安就把他的香囊取下来烧掉了。谢玄明白了叔叔的良苦用心，从此也就不再佩戴紫萝香囊。

这对叔侄间的趣闻不止一件。有一次，谢安和谢家的子侄们聊天，问道：“为什么人们总希望自己家的子弟比别人家的优秀？”大家都沉默不说话，只有谢玄回答道：“这就譬如有一颗芝兰玉树，人们总会想让它生在自家的庭院里。”谢安闻听，称赞道：“回答得好！”

某年夏日里的一个早上，谢玄还没有起床，谢安突然过来了，谢玄光着脚，顺手扯了件衣服披在身上就迎了出去，到了屋里才穿上鞋，谢安瞧见哈哈大笑道：“你这可谓是前倨而后恭。”

谢玄博览群书，尤其熟读兵法。长大后，他身怀治国良策，但任凭朝廷多次征召都没有去赴任。后来谢玄被桓温聘为掾，之后又任桓豁的司马。

前秦统一北方，兵强马壮，对晋构成巨大威胁，朝廷公开征召能够镇守北境的文武良将，谢安举贤不避亲，推荐了侄子谢玄。

当时这项任用受到了一些非议，因为此时的谢玄才三十出头，人们都担心他能否胜任，不过有眼光的人也不只谢安一个。

郗超和谢家素有仇怨，但听到这次的任命后，他也感慨地说：“谢安推举谢玄是英明之举，谢玄必将不负所托，定能完成使命。”众人都问他为什么这么说，郗超答：“我曾经与谢玄同在桓公（桓温）府上共事，见他处理事情井井有条，即使再小的事情也能处理得非常得当，从这些事可以看出，他一定能破敌建功。”

谢玄到任以后立即贴出告示，招募勇士入伍。京口（今江苏镇江市）是北方流民聚集之地，民风彪悍，不久就有刘牢之、何谦、诸葛侃、高衡、刘轨、田洛、孙无终等勇士前来应征。

刘牢之，字道坚，彭城（今江苏徐州市）人士，他的曾祖刘义精于射箭，曾经任北地郡、雁门郡太守，他的父亲刘建也有一定的军事才能，为晋征虏将军。刘牢之脸色异于常人，呈紫赤色，胡须和双目也长得和普通人不一样，让人一看就记忆深刻。他不但勇猛，而且沉着刚毅，足智多谋，这些优点集中到一个人身上，是十分难得的。

谢玄得到这些勇士后大喜，任命刘牢之为参军，之后刘牢之屡为先锋，战无不胜，攻无不克。谢玄组织起的这支军队被称为“北府兵”(1)。

(1) 京口在建康的北边，因此被称为北府。