晋豫州刺史谢奕去世后，朝廷任命吴兴太守谢万为西中郎将，监司、豫、冀、并四州诸军事，兼豫州刺史。谢万是谢奕的弟弟，他们两人都出身于陈郡谢氏，是名士谢裒的儿子。谢裒一共六个儿子，分别是谢奕、谢据、谢安、谢万、谢石和谢铁。

朝廷命新任豫州刺史谢万率军驻扎下蔡（今安徽凤台县），北中郎将郗昙（郗鉴之子）率军驻扎高平，抗拒前燕。

谢万颇有才华，但为人自命清高，不知道安抚体恤下属，他哥哥谢安对此十分担心，于是就与他一同出征。谢安对谢万说道：“你作为主帅，应该多和诸位将领欢宴，和他们谈心交流，他们高兴了，顺心了，才会甘心效命。”

谢万倒也听话，招来众位将领聚餐。在宴席上他用如意指着在座的将领说道：“各位都是精壮的士兵。”众位将领听后更加恼怒。散席后，还是谢安亲自到众将帐中一一拜访，表示歉意。

后谢万带兵去支援被前燕进攻的洛阳，郗昙因为生病，撤兵到彭城。那时候通信手段不发达，谢万以为郗昙是被前燕打败了，感到害怕，也命令撤兵，将士不知道到底发生了什么，以为敌人追上来了，四散奔逃。将士们想趁乱杀掉谢万，但念及谢安，还是放了谢万一马。穆帝司马聘闻知此事勃然大怒，下诏把谢万废为庶人，把郗昙降为建武将军。经此一战，许昌、颍川、谯、沛等地相继被前燕夺去。

谢安，字安石，出生于大兴三年（320）。他七八岁的时候，他哥哥谢奕做县令，遇到一个老人犯法，就罚他喝度数很高的酒，老人都喝醉了，谢奕还让他继续喝。谢安坐到哥哥谢奕膝旁，劝他说道：“哥哥，这个老翁很可怜，不要再这样了。”谢奕就放老者走了。

长大后的谢安气宇轩昂，样貌不凡，为人风趣幽默，遇事沉着冷静，当时京师中人都仰慕谢安的风采，喜欢模仿他的举止。谢安有鼻炎，所以声音很特别，人们为了能学得像他的声音，故意用手掩住鼻子说话。

有一次，一个同乡被罢官，向谢安辞别，谢安问他是否有回家的路费，这个老乡说道：“盘缠不多，只有五万把蒲葵扇。”谢安笑着说道：“这个交给我了，你就坐等收钱把。”他拿起一把扇子，在闹市中转了一圈，士人和百姓看到了，觉得谢安拿着蒲葵扇的样子很帅，很有风度，于是争相购买，蒲葵扇的价格疯涨了数倍，他的老乡就这样卖掉了手中的蒲扇，挣到了足够的路费。

谢安也很擅谈玄，他曾拜访名士殷浩，问殷浩道：“我们用眼睛去观察万物，万物是否就进入眼睛了呢？”殷浩没有回答上来。

出身名门，自身又有名气，谢安自然是各路官家争抢的人物，但谢安并不愿意受官场约束，朝廷多次征召，他均不到任，后来干脆到会稽的东山（大概在今浙江绍兴市上虞区）隐居起来，每日和王羲之、孙绰、许询及和尚支遁等人寄情山水，吟诗作赋，好不痛快。王羲之的《兰亭集序》中，对他们一行人集会于山野之间的事也有记载。

有次，谢安和王羲之、孙绰等人出海游玩，船行驶了一会后，海面上突然风起浪涌，王羲之等人都惊恐不已，大喊快点调转船头回家去，谢安却神情淡定，吟诗长啸，船夫见他不惧怕，也就继续向前行驶。很快，风更急浪更大，众人都坐不住了，嚷嚷着要回家，谢安这才慢悠悠地说：“再往前走，恐怕就回不去了。”船夫于是掉头。谢安这种处变不惊的性格特点，为他以后在和桓温的斗争及淝水之战中取得胜利，起到了至关重要的作用。

晋廷对谢安寄予厚望，希望他早日出山，甚至有士大夫说出“安石不出，当如苍生何”的话。总之，谢安在当时的名气非常大。

当初家族聚会，谢家兄弟中有几个都做了高官，在座上格外的耀眼，谢安的妻子刘氏半开玩笑半抱怨地对隐居中的谢安说道：“这才是大丈夫的样子。”谢安捏着鼻子，做了个鬼脸道：“恐怕以后我免不了要像他们那样啊。”说是这样说，他一点也不着急，照常在东山喝酒吟诗，照常欣赏歌伎们美妙的歌声和舞蹈。

但现在弟弟谢万被免官，加之之前哥哥谢奕去世，谢家眼看要走向没落，谢安决定出山挽救家族，让谢家继续辉煌之路。这时候他已经四十一岁了，正好桓温征召他到府中任司马，加上谢家和桓家关系不错，桓温也和谢奕交情颇好，所以谢安干脆利落地答应了。他收拾行囊，要从新亭出发到桓温府中报到了，不少人前来送行。中丞高崧和谢安开玩笑道：“卿多次违背朝廷旨意，高卧东山，大家都说‘安石不出，将如苍生何’，苍生今亦将如卿何！”谢安微微一笑，并不答话。成语“东山再起”就出自谢安出山的故事。

谢安到了桓温府上后，受到桓温很高的礼遇。桓温给他安排了宽敞的办公房间和舒适的住宿房间，房间内铺上地毯，办公桌也是最新购置的，笔墨纸砚等办公用品都是采购市面最好的。

桓温和初到府上的谢安在一起兴致勃勃地交谈，两个人都是名士，一谈就谈了大半天。后来谢安告辞出门，桓温还意犹未尽地对左右的人说道：“你们曾经见过我有这样的客人吗？”

他们两人互相欣赏，相处融洽。有次桓温到谢安处，谢安正在梳头，他见桓温来了，急忙取来衣服和头巾，桓温说道：“不用如此麻烦，戴个帽子就行了。”还有次桓温生病，谢安前去探望，从东门入，桓温远远看见谢安的身影，赞叹道：“我的门下很久没有如此人物了。”

不过谢安在桓温府上也遇到了一次小尴尬。一天，桓温和谢安、名士郝隆在一起闲谈，这时候有人送来了一束药草，桓温就问他们道：“这种草药叫小草，又叫远志，为什么会有两种称呼？”谢安没有立即回答。郝隆说道：“这好解释，在山中的时候它叫远志，出了山就叫小草了。”谢安听出这是有点讽刺自己的意思，当即脸就红了。桓温哈哈一笑，打圆场道：“郝参军真会开玩笑。”

郝隆博学多才，为人风趣幽默。那时候在七夕当天，读书人会把书籍拿出来晾晒，有钱人则会把绫罗绸缎拿出来晾晒，但郝隆在这一天却腆着个大肚子，在椅上悠闲地躺着晒太阳，有人问他这是为什么，他说道：“我这是在晒书。”众人听了哈哈大笑。

谢安只在桓温府上待了不到两年。弟弟谢万去世，他借口处理弟弟的丧事归家，后被朝廷任命为吴兴郡太守，后被征召为侍中。