刘备代陶谦为徐州牧，袁术极为不满，于建安元年（196），发兵攻打。刘备领兵迎击，留张飞守下邳（今江苏睢宁西北）。袁、刘两军交战，各有胜负，相持不下。“袁术与吕布书，劝令击下邳，许助以军粮。布大喜，引军水陆东下。”（《资治通鉴》卷六十二）张飞到下邳后，与下邳相曹豹不和，在争执中杀死曹豹。曹豹系陶谦旧部，有一批部将，他们在曹豹死后反叛，抗拒张飞，“坚营自守，使人招吕布”。吕布得人内应，“大破益德兵，获备妻子军资及部曲将吏士家口”（《三国志·吕布传》裴注《英雄记》）。张飞大败而逃，走归刘备。而刘备又被袁术打败，失去下邳，走投无路，只得求和于吕布，吕布还其妻子。不久，吕、刘因战马发生冲突，刘备败北，投奔曹操。

建安三年（198），曹操破吕布，邀刘备与关、张同去许昌。为了标榜自己敬贤爱士和笼络刘备等人，曹操表刘备为左将军，拜张飞为中郎将。次年，胸怀大志的刘备借事出许昌，杀曹操所置徐州刺史车胄，反曹。他留关羽守下邳，自己去小沛（今江苏沛县）。“刘备走小沛，张飞随之”（《三国志·明帝纪》裴注《魏氏春秋》）。曹操立即派兵攻打，不克。建安五年（200），他便自率大军征讨。“先主败绩。曹公尽收其众，虏先主妻子，并禽关羽以归”（《三国志·先主传》），刘、关、张因此失散。刘备投奔袁绍去邺，“驻月余日，所失亡士卒稍稍来集”。后他领兵攻许下，关羽亡归，三人才又在一起。建安六年（201），刘备为曹操所败，张飞随其依刘表，驻新野。

建安十三年（208），曹操征荆州，刘备奔江陵。在当阳长坂（今湖北当阳），曹军精骑骤至，刘备军招架不住，溃散四逃。刘备弃妻子将士逃命，令张飞将二十骑断后。张飞立马横矛，据沮水断桥边，二十多名骑兵布列身后。曹兵来后，见状不敢贸然而进。张飞便怒目厉声大喝道：“身是张益德也，可来共决死！”他的英勇气概，使“敌皆无敢近者”，刘备因此得以安全退却。

赤壁之战中，张飞立下战功，还受刘备派遣，到周瑜帐下，去攻打南郡的曹仁（《三国志·周瑜传》裴注《吴录》）。战事结束，张飞任宜都太守，进位征虏将军，封新亭侯，被刘备摆在长江沿线，与关羽同为北方防务的主力。