吴玉章生于四川省自贡市荣县双石桥蔡家堰，家族是被人称为“三荣望族”的书香门第。

他6岁开始读书，7岁却丧父，13岁又失去慈母，从此，靠兄嫂抚养成人。

他笃诚忠厚，沉毅坚韧，喜读史书，学识渊博，赢得“金玉文章”美誉。

他幼年时期，深受二哥的影响。他二哥吴永锟，号紫光(前清秀才)，服膺宋人理学，是一个讲究气节的人。他就是借助二哥在成都尊经书院的助学金，踏上求学深造的道路。

他幼年时就和二哥共灯夜读“通鉴辑览”，读到南宋衰亡史实，就联想到当时中国的危局，好像亡国之痛就在眼前。他们把文天祥的正气歌，诀命词贴在墙上诵读，他们尤其喜欢读明末烈士黄淳耀所作的一篇时文，《见义不为，无勇也》。

其中几句话令他印象深刻：“一则放之须庾，而已与草木同腐矣；一则忍之须庾，而已与日月争光矣。”意思是说忠奸之分就在那临危授命的一刹那间。

二哥又把黄淳耀的事迹写在那篇文章的后面。他读着这篇文章，很感动于黄淳耀的节义之举。

1892年初，他刚满13岁，就随二哥到成都，进入“尊经书院”。同伴中，有个黄芝和他二哥是同榜秀才，其父是个“刻字匠”，很多人看不起黄芝，但吴玉章兄弟却与其成了朋友。

黄芝读书多，对文字学、汉学颇有研究。他和黄芝一起，常游武侯祠、草堂寺。每到傍晚，他们一起散步，黄芝总要给他讲诸葛亮、杜甫等人的故事，有时，还联系国事危机，大发感慨。他喜读《通鉴辑览》《正气歌》《出师表》等，养成了关心国家大事的习惯。

1895年，甲午战败，而丧权辱国的《马关条约》，使少年时代的他痛心疾首。甲午战败的消息传来了，他读到光绪求和诏书中“将不知兵，士不用命，师徒挠败，陵寝震惊”，忍不住落下泪来。这时他才17岁。他后来回忆说：“光绪皇帝乞和的诏书传来之后，就和二哥抱头痛哭。但痛哭思定后，自己决心为祖国寻找一条救亡图存的道路，做点有益于人、有益于国的事。”

甲午战争后，变法维新之说流行。他这时很喜欢读《时务报》。戊戌政变时，他在四川荣县乡下得到那些变法的文件，就和一些志同道合的青年到处宣传新政，人们感觉他们很疯狂，称之为“时务大家”。期间，六君子被杀，新政被推翻，守旧的人嘲笑他：“早说不对嘛，要杀头哩！”他就用谭嗣同拒绝到使馆避难，甘愿作第一个变法的流血者的英勇故事来回答这些人的嘲笑。

变法失败后，他很苦闷。那时缠脚陋俗普遍，他就劝大嫂别给侄女缠脚：“太痛苦了，以后走路做事也不方便。”大嫂不听，硬给女儿缠了脚。他感叹说：“变什么法？维什么新？在自己家里也行不通啊！”

1900—1901年，他到县城的一户大地主家教书；次年，到威远继续读书，喜读《新民丛刊》和《新小说》。

他后来在延安写的自传中说：“我有二哥二姊，大哥同父一样，读书理家，二哥与我则专门读书，未作农民。仲兄早慧，19岁即举秀才。”

1902年，他去参加科举，因刚废除八股，改考策论，他就将“新学”思想加入了文章。他县考、府考成绩都很好，有一场府考还得了第一，阅卷人写了很长的批语，最后说他：“此古之贾长沙，今之赫胥黎也。”只是院考时因为它文章太长，交卷时没写完，因此落第。

考试不中，他求“新学”的心更切。这年12月，他慕名到泸州去考“经纬学堂”，却不料那是挂“新学”羊头，卖“旧学”狗肉的学堂，一气之下就愤然离校。

随后他和二哥东渡日本，进入东京成城学校学习。

他后来在《吴玉章回忆录》一书中说：“1903年2月9日(夏历正月十二)，那时还是元宵期内，到处锣鼓喧天，当人们正在兴高采烈、欢度春节的时候，我们一行九人，好象唐僧取经一样，怀着圣洁而严肃的心情，静静地离开故乡，挂帆而去。”

船过三峡，吴玉章望着两岸慢移的景色，以“东游述志”为题，写诗抒怀——

不辞艰险出夔门，

救国图强一片心。

莫谓东方皆落后，

亚洲崛起有黄人。