公元208年，正当孙权消灭黄祖，占领黟（今安徽黟县）、歙（今安徽歙县），并积极准备吞并荆州之时，曹操率领大军南下，兵不血刃占领了荆州，接着又顺流而下，想一举**平东吴。强敌压境，东吴朝野震恐。孙权召集群臣商议对策，张昭和秦松带头主和。张昭认为曹操打着朝廷旗号，得了荆州水军之助，声势浩大不可抵挡。只有鲁肃和周瑜二人主战，弄得孙权六神无主。

张昭作为元老重臣，在群僚中有很大影响，但他有恐曹心理。早在公元202年，曹操乘破袁术之声威，派使向孙权征质，张昭就拿不定主意。当时就是周瑜坚决主张不送质子，孙权和吴夫人都很高兴。这次面临曹兵压境，张昭主张投降，使孙权大失所望。

公元221年，曹丕封孙权为吴王，张昭制作了朝仪。张昭封由拳侯。公元229年，孙权在武昌称帝，大会群臣，盛赞周瑜、鲁肃二人主张抗曹之功。这时，张昭向孙权举笏庆贺，还未开口，就被孙权奚落道：“当年如果听从张公的主张，我如今就得乞食为生了。”“昭大惭，伏地流汗”（本传裴注《江表传》）。从这件事中可以看出，孙权在赤壁大战二十年后对张昭当年的投降主张仍然耿耿于怀。孙权设置丞相职务时，群臣都建议让张昭任丞相，孙权却说：“如今天下多事，丞相责任太重，不宜让张公受累。”结果让孙邵做了丞相。孙邵死后，群臣又推举张昭，孙权说：“我难道是吝惜丞相这个官职而舍不得给子布吗？当丞相事务繁杂，而张公性格刚直，如不听他的主张便要怨愤，这对他没有好处。”结果任命了顾雍。孙权两次驳回群臣的建议，用种种借口不任命张昭为相，表面上是说为张昭着想，实际上乃是由于当年张昭主张投降一事使孙权对他深为失望，不愿对他再委以重任。

张昭知道自己已经失去了孙权的信任，便以年老多病为由辞去官职。孙权另拜他为辅吴将军，改封为娄侯，食邑万户，他闲居无事，便闭门著书，撰写了《春秋左氏传解》和《论语注》。