谢安隐居在会稽郡的东山，与王羲之、许询、支道林等名士、名僧频繁交游，出门便捕鱼打猎，回屋就吟诗作文，就是不愿当官。

当时的扬州刺史庾冰仰慕谢安的名声，几次三番地命郡县官吏督促逼迫，谢安不得已，勉强赴召。但仅隔一个多月，他又辞官回了会稽。后来朝廷又征召他为尚书郎、琅玡王友，谢安一概推辞。吏部尚书范汪举荐谢安为吏部侍郎，也被谢安写信拒绝。有关官员上疏认为，谢安被朝廷征召，历年不应，应该禁锢终身。谢安知道后一笑了之，仍旧沉醉于游览东部的名胜之地中。

谢安曾到临安山，坐在石洞里面对深谷，悠然叹道：“此般情致与伯夷有何区别！”又曾与孙绰等人泛舟大海，风起浪涌，众人十分惊恐，谢安却吟啸自若。船夫因为谢安高兴，照旧驾船漫游。众人无不钦佩谢安宽宏镇定的气度，谢安虽然纵情于山水，但每次游赏，总是携带歌女同行。

谢安虽然屡屡不愿出山，但当时执政的会稽王司马昱说：“谢安既然能与人同乐，也必定能与人同忧，再征召他，他肯定会应召。”当时谢安的弟弟谢万任西中郎将、豫州刺史，担负守边的重任。谢安虽然隐遁山林，但其名声超过谢万，有任宰辅的声望，这也为他日后出山奠定了强大的基础。