王阳明返京之后，虽然过上了官宦生活，但仍经常羡慕隐士的高风亮节，有时心中会涌起隐遁山林之意。因此，王阳明一有闲暇就去游山玩水，顺便游览位于深山幽境中的寺院。他曾作《寄隐岩》（《王文成公全书》卷二十），开篇写道：“每逢山水地，便有卜居心。”

而在湛甘泉出使安南的前一年，王阳明就游览了香山，并且宿泊在香山寺。香山是京城西郊的一处山清水秀之地，有许多有名的佛寺和道观。王阳明在香山作《香山次韵》（《王文成公全书》卷二十）一诗：

寻山到山寺，得意却忘山。岩树坐来静，壁萝春自间。楼台星斗上，钟声翠微闲。顿息尘寰念，清溪踏月还。

在诗中，王阳明记述了自己登香山的经历：登上香山之后，静坐于幽境之中，望着天空中的星星，听着从树林间传来的钟声，仿佛已经脱离了俗世，然后带着这份心情返回住处。王阳明找寻这样的幽境，其实就是为了追寻“物外（俗世之外）之情”。在香山期间，王阳明还作了《夜宿香山林宗师房次韵二首》（《王文成公全书》卷二十），其中有这样的诗句：“幽壑来寻物外情。”“久落泥涂惹世情，紫崖丹壑是平生。养真无力常怀静，窃禄未归羞问名。”

从诗中我们可以看出，王阳明平生羡慕仙境，但一直未能得道，他为自己不能抛弃俗心，不能切断官场名利的牵绊而感到羞愧，所以他才会去寻找幽境，希望借此来求得“物外之情”。

身为一位儒者，王阳明为何会羡慕仙境呢？其实不只是王阳明，这种情结在很多儒者身上都有体现。儒者羡慕仙境，并不像隐士那样是因为厌倦了尘世，希望自己永远隐遁起来，而是为了追寻高远的理想。在仙人栖居的深山幽谷中游历，通过游历让自己忘却俗情，这样的生活才更符合儒者的心境。