1903年，张謇东游日本考察参观东京帝国博物馆的时候，心中就涌出了一个崭新的念想：回国之后自办一个为教学和农业研究服务的博物苑。

回国之后，张謇忙得不可开交。为了创办师范学校，他是马不停蹄，根本无暇顾及博物苑的事。直到师范学校建成之后，一时松懈下来的张謇才想到博物苑的事，于是开始勘察地皮。在师范学校的西边“徒荒家千，并居民三十许”，开辟了一个植物园，给师范的学生当实验园地之用。

之后，教学范围不断增大，为了让学生更加贴近地接触实际，又亲眼看与动手实验的地方，1905年，张謇把这块将近四十亩的植物园升级成了博物苑。这个博物苑在关系上依旧属于师范学校管辖，将曾经留学日本的孙锁聘请来当主任，开始动工建设房屋。

先建的是三间平房，作为中馆，上辟十四平方米的平台，将观测仪安放其上。中馆是测候所，自宣统元年起，每天进行天气预报，它的南馆便是博物馆。博物馆内陈放的文物分为天产、历史、美术和教育四个部分。北馆是化石馆，建得稍微晚一些。别的还有假山、水池、花房、草坪和斋亭等等。

到了民国的时候，南通师范学校划归省管，博物苑便自己独立了起来，不再归师范学校管。博物苑里边拥有好几名金石、考古、矿物和书法绘画等方面的专家，这些人个个忠于职守，勤奋工作，有着非常强的事业心，对各种物品进行广泛地征集和鉴别。到了1933年，博物苑内的苑品已经达到了3605号。最为兴盛的时候，动物园内有珍禽老虎，植物园内有琼花丹桂，陈列品中有能动的轮船、火车等许多机械模型，让人流连忘返，不忍离去。真正成了普及科学知识与陶冶情操的教育场所。

对于图书馆，在1905年，张謇便曾给张之洞写信说：

夫近今东西各邦，其所以为政治学术参考之大部分以补助学校者，为图书馆，为博物苑。

到了后来，在他搞立宪运动的时候，又向大清的学部上书，要求开办图书馆，他说这是预备立宪自治章程第一款一定要办理的事情。

在真正确定开办图书馆的时候，张謇又想，图书馆所在地一定要“爽垲”。经过认真勘察，仔细琢磨，他觉得应选东岳庙作为图书馆的所在地。在辛亥时，把帅庙改成医校，把岳庙改成了图书馆。所办经费先后用了两万六千四十三元，一年用钱就两千四百元甚至更多一些，都是张謇一人承担下来的。这些钱有百分之六十都是张謇一个人拿出来的，其余的是他向自己的好朋友们借的。馆内图书都是由外界捐赠和图书馆出钱买来的，从一本到两本，慢慢增多。到了1924年，馆内藏书已经有十五万多册中文图书，外文书也有近千册，其中，西文六百多部，日文书三百多部。藏本内木刻有十三万多卷，另外订有许多中日报和杂志。

图书馆里建有一个阅览室、一个阅报室、一个曝书楼，安排五名管理人员对借阅处进行管理。张謇对馆内的图书极为重视，制订出了非常严格的借阅制度。凡长时间进行阅览的，一年收取的费用是两元，短时间借阅的，每天收取的费用是两枚铜元。学生来看书，必须要拿着学校开办的介绍信，不然的话，全部予以拒绝。图书馆工作时间是上午九点至下午两点，中午休息。每星期二是图书馆休息日，一律停阅。寒假期间休息十天，夏季酷暑季节，因为潮湿，需要晒书，因此大晒书的时候，也要休息，停止借阅。

张謇开办的这所图书馆，虽然于管理方面还有不少缺点，然而，意义却是重大的，对地方上的智力提高有着极为重大的影响。