谢灵运游山玩水爱到幽寂、高峻的地方，重岩叠嶂，莫不游遍。登山时他常穿着木屐，上山时去掉木屐的前齿，下山时则去掉后齿。一次谢从始宁的南山到临海游览，一路上伐木开路，随从有数百人。临海太守见此状还以为有山贼，惊骇无比，最后知道是谢所为，才定下心来。