徐霞客本名叫徐弘祖，从“弘祖”这个名字来看，寄托着父辈们对孩子的高度期望。不过他父亲的期望有些与众不同，并没有指望儿子将来能做大官，只是要求儿子多读一些书，多长见识。

徐霞客在父亲的宽松政策下，无拘无束地成长。徐霞客上私塾时，对《论语》《孟子》的那些大道理不感兴趣，他常常把一些历史、地理、传奇小说夹在课本里面看。他常常想：人们为什么要去追求那几间府邸，而放弃游览大好山河的机会？他立下誓愿，一定要游览五岳。

徐霞客十五岁时，考过一回童子试，没有考中。父亲见他无意考取功名，就不再提及科举等事。徐霞客卸下“科举考试”这个重任，从此更可依照自己的爱好读书。家里的藏书逐渐不能满足他的需要，于是他到处收集书籍，有一次他出门没带钱，但是看中一本好书，他就脱下自己的衣服换书看。

公元1605年，徐霞客十九岁，他的父亲去世了，母亲主持家务，亲自纺纱、织布、种地。徐霞客心里充满忧伤，一是因为父亲的离世，二是因为照顾母亲，那自己的远行愿望就要落空了。徐母怎么会不知道儿子的心事，便对他说：“好男儿志在四方，应该游览名山大川，阅尽世上奇书，拜访世上名师，怎么能把孩子像马羊一样圈起来呢！你不必守着我，尽管放心去吧。”在母亲的再三鼓励之下，徐霞客于公元1608年正式出游。