东汉末年中原动乱，张昭随难民逃到江南，受到孙策的重用，官拜长史和抚军中郎将。孙策与他“登堂拜母”，像同辈的密友一样。当时，东吴几乎所有重要事务都由张昭经手，他为孙策扫平江东作出了很大贡献。因而深受北方士大夫的敬重，在他们的书信中对张昭大加称赞。对此，孙策非但没有猜疑，反而潇洒地说：“当年管仲为齐国国相，齐桓公开口仲父、闭口仲父，而他则称霸诸侯为天下所尊崇。如今子布贤明，我能重用，他的功名难道不为我所有吗？”可见，张昭在孙策心中的地位，就像管仲在齐桓公心中的地位一样重要。

当时，刘表想要亲自写信给孙策，写完后先给祢衡看，祢衡看完后讥笑刘表，说道：“写这样的东西，是想要让孙策帐下的孩童读吗？还是想要让张子布看到？”我们看，就连狂傲得“老子天下第一”的祢衡，都认同张昭的才华。

孙策临终前，将孙权托付给张昭，嘱咐张昭说：“如果仲谋不堪大任，你就取而代之！”这和后来的刘备托孤简直一模一样，俨然，张昭当时在东吴的地位，与诸葛亮在蜀汉的地位不相上下。当时孙权年少，孙权的母亲吴夫人担心他不能成事，便召见张昭、董袭等人，询问江东能否保得住，董袭回答说：“江东地理形势，有山川险阻可以凭固，而讨逆将军为贤明的州牧，对百姓有过恩德。讨虏将军承袭基业，上下齐心听令效力，张昭秉政掌管大事，我董袭等人作为爪牙，这正是据有地利、人和的时候，绝无什么可忧虑的。”

孙策去世后，张昭即向朝廷上表，又给各属县发公文，对江东的内外将校则令他们各守其职。当时孙权非常悲伤，张昭劝孙权说：“作为继承人，重要的是能继承先辈的遗业，使它昌大兴隆，以建立伟大的功业。如今天下动**不安，盗贼占山蜂起，孝廉你怎么能卧床哀伤，像常人那样去放纵个人的感情呢。”他亲自扶孙权上马，列兵而出，然后众人才服从了孙权。

孙权每次出征，都留张昭镇守后方，总领府署的事务。后来黄巾余党起兵，张昭率军将其讨平。孙权征合肥时，命张昭另外率部攻讨匡琦。又命张昭督统诸将，攻破豫章贼帅周凤等人于南城。张昭自此以后就很少领兵，经常在孙权左右任谋臣。

孙权因为张昭是旧臣，因此格外厚待。依然任其为长史。张昭在孙权面前敢于说出自己的意见，往往指责孙权做得不对的地方，对于孙权起到了很好的辅佐作用。

这一时期，可以说是张昭在江东最有影响力的时候，直到赤壁之战爆发前后，张昭在江东的地位才一落千丈。