1935年，华北事变后，天津的形势日趋紧张。7月12日，日军向天津进攻。30日凌晨一点，日军开始向南开大学开炮。中央通讯社当时从天津报道：“30日下午2时日炮队亦自海光寺向南大射击，其中四弹，落该院图书馆后，刻已起火。”“两日来日机在天津投弹，惨炸各处，而全城视线，犹注意于八里台南开大学烟火。缘日方因二十九日之轰炸，仅及两三处大楼，为全部毁灭计，乃于三十日下午三十许，日方派骑兵百余名；汽车数辆，满载煤油到处放火，秀山堂、思源堂，图书馆、教授宿舍及临近民房，尽在烟火之中，烟头十余处，红黑相接，黑白相间，烟云蔽天，翘首观望者，皆嗟叹不已。”30日以后，日军占领学校。

从此，南开大学校园遭受了日军侵略者8年的**。南开大学是抗战以来中国第一个罹难的高等学府。初步统计财产损失300万元(法币)，占当时全国高等学校全部战争损失的十分之一。

30日下午，张伯苓向《中央日报》记者发表谈话：“敌人此次轰炸南开，被毁者为南开的物质，而南开的精神，将因此挫折，而愈益奋励。”31日，蒋介石约见张伯苓等人，他即席表示：“南开已被日军烧掉了。我几十年的努力都完了。但是只要国家有办法，能打下去，我头一个举手赞成。只要国家有办法，南开算什么？打完了仗，再建一个南开。”蒋介石以明晰诚恳的话语安慰说：“南开为中国而牺牲，有中国即有南开！”

这之后，他深为忧虑，亲赴重庆考察后，决心在荒凉的重庆沙坪坝，建成一所重庆的南开中学。1936年夏，校舍落成，定名“南渝中学”，当年九月正式开学。

人们赞叹他创造奇迹，是位魔术师，他却笑呵呵地回应说：“我不是魔术师，我是不倒翁。日本人把我打倒，我又站了起来！”

重庆是当时的陪都，因此南渝中学学生不少是高官子弟，有人称其为“贵族学校”，他却说：“一定要靠自己的努力和奋斗，不能依赖他人！”

当时南渝中学的确培育了大批社会精英，因为它注重的是提升学生的基本素质。除语文、数学等功课外，还包括逻辑思维、语言表达、如何开会、如何选举、如何表决的训练。总之，德智体美四育并进，这使每个学生终身受用不尽。

南渝中学是以对课业的严要求出名的，一般两门课不及格就要被“刷”。而品行或体育只要一门不及格就会被“刷”。有个学生在一年级上学期差一点就因为体育没有“达标”而被“刷”，后来靠其他功课成绩优良，承诺每天晚自习后跑八百米，才被允许升班续读。

1938年，应南开同学会的建议，张伯苓把“南渝中学”改称为南开重庆分校。后又听从教育部的建议，与清华大学和北京大学合并，校名定为联合大学，在长沙开学。不久，敌机轰炸长沙，联大奉命迁往昆明，校名改称国立西南联合大学。

1940年8月，南开新校舍被日机30枚巨型炸弹轰炸，狼烟翻腾，但是，被毁校舍，不久修复，读书声、弦歌声再起。

1948年国民党政府改组，约请张伯苓出任考试院院长。当年7月，他到南京后，目睹国民党政府黑暗腐败，心情很不愉快。年末，他以“体弱需静养”为借口，离开了南京考试院，回到重庆沙坪坝南开中学的老寓所，终日深居简出。

解放前夕，蒋介石三番五次到沙坪坝津南村，要求他离开重庆，去台湾或美国，后来蒋氏又派蒋经国和张群劝行，他都笑着婉言谢绝了。

1949年，他毅然留在重庆迎接解放。