“樊燮”案之后，左宗棠开始招募军队，因为有了江忠源、曾国藩的先例，左宗棠办私家军队也少走了很多弯路，更何况他这些年来在长沙士绅、军人中间积累下很高的名望，要他举旗招兵，是很容易的事。

当时曾国藩组建湘勇，主要就是模仿明朝大将戚继光的“戚家军”来编制的。湘军以“营”为基本单位，每营500人，级别相等，人数固定。这就和绿营军区别开来。绿营军编制，各个行军单位人数不等，没有统一的号令和人数，指挥调度起来会很费劲，常常还会产生混乱。此外，湘军每营还专门设有180人的“长夫”，专门用来运送军器辎重，保证军力不乏。史书上记载说，湘军将领大多是读书人出身，士兵的主体很多都是山农，他们在武器装备上在当时算是比较强的，但却不善于肉搏、怯于近战。而且，兵为将有的体制决定了朝廷是不给军费的，所有的军费开销都要由大帅自己来承担。为了让士兵安心训练，湘军的军饷比普通绿营军高出六倍，训练时，每日口粮加一钱，征战每日加一钱五分，重伤给付养伤银30两，阵亡给付60两。因而，曾国藩等人能养活一支军队，少不得一大批地主财团的支持。

左宗棠的楚军和曾国藩的湘军编制类似，只是初创阶段，待遇还达不到湘军的标准：湘军士兵每月六两银子，左宗棠搜肠刮肚，翻箱倒柜，四处筹钱，给士兵每月四两，而当时绿营军士兵的俸禄是每月一两。

这里需要注意这样一个问题，即军队性质的区别。曾国藩的湘军，自组建到解散，一直都称做“湘勇”，而“湘军”这个称号是后人们叫的。“勇”与“军”的区别就在于，“勇”是非政府武装，属于私人雇佣军，而“军”是政府军队，拿国家的饷银。然而在这里，左宗棠一开始招募军队，就把自己的“番号”给定了下来，他不把自己的队伍叫“楚勇”，而是叫“楚军”。曾国藩看到这一幕，有些惊讶，连忙上去劝阻，但左宗棠牛脖子一梗，根本没把这当回事。有人说这是左宗棠好大喜功，但从另一个层面上说，这也是左宗棠诱招兵员的一个策略。很多不明就里的人以为左宗棠是打着政府军的旗子招兵，给出的饷银又是政府军的四倍，就兴奋地报名参军了。这样一来，楚军在薪酬待遇上不敌湘军的劣势，也就转化成了对绿营军的优势。很快，左宗棠招募到了五千兵勇，其骨干成员有前湘军将领王鑫的从弟王开化、王开琳、王勋，以及猛将罗信南、崔大光、李世颜、罗近秋、黄少功等。

军队招募完毕之后，左宗棠就把队伍带到城郊训练。由于战局紧迫，大家也就练得急，但却非常严厉，训练懈怠的责以军棍，开个小差就会被杀头。然而队伍还没练两个月，就被赶鸭子上架，撵到战场上去了。当时曾国藩在一线和太平军打得难解难分，感觉很吃紧，便发来告急文书，让左宗棠援助江西战局。

在太平军初定南京为都城的时候，朝廷立即派将军向荣督军一万，在南京城东孝陵卫驻扎，号称江南大营；琦善领兵一万，在扬州城外驻扎，称江北大营。南北大营互为支援，在战略上形成了对南京的夹击之势。清军这一招十分狠毒，试图将太平军就此堵截在逼仄的一隅，逐渐困死。太平军也从此由攻转守，多次集中兵力试图攻破南北大营，因此这里成了清军和太平军作战最激烈、最频繁的战场。1856年初，南北大营先后被太平军打破，北营主帅托明阿被革职，南大营统领向荣忧愤而死。天京之围解除，原本局势已经倾向了太平天一方，但是到了这年九月，太平天高层爆发了内讧，东王杨秀清、北王韦昌辉、燕王秦日纲先后被杀，翼王石达开后来也率部出走，清军趁机再度建立起了南北大营，夺回了主动权。这一次总管南大营的是钦差大臣和春，而江北大营由另一个钦差大臣德兴阿主管。

江北大营在咸丰八年被陈玉成、李秀成再次打破，左宗棠率领楚军支援的，主要是曾国藩的湘军以及总督南大营的和春。

当时的江南大营驻军还算不少，官兵共计20万人，然而这帮政府军平时治军不严，很少操练，上下不论身份地位，一概吃喝嫖赌，连大烟都抽，搞得整个军营乌烟瘴气。如此军队，上了战场肯定是要吃败仗的，曾国藩的湘军倒是颇具战斗力，但是这条防线还是钦差和春、提督张国梁说了算，曾国藩的军队只是辅助力量。

咸丰十年（1860年），太平军再度进攻江南大营。主将李秀成采取了“声东击西”之计，由李秀成的堂弟李世贤带领军队，换上清军的旗号，一路急行军赶到了杭州城下。杭州官兵看到突如其来的太平军，以为神兵天降，连连败退，杭州被轻易地攻陷。咸丰皇帝听说杭州失陷，心中十分惊恐，生怕这块富庶宝地落入太平军的手里。于是急忙下诏，命令江南大营火速驰援杭州。接到命令，和春派出重兵赶向杭州，而李秀成则让士兵在城头上插满战旗，引做疑兵，撇下一座空城，挥军攻打江南大营。天京城内军队也开门呼应，江南大营反倒被包了饺子：主力远在杭州，自己一支偏师遭遇太平军前后夹击，腹背受敌，主将和春仓皇逃走，江南大营于是也被太平军攻破了。

江南大营失守，令曾国藩很是苦闷，看到左宗棠，便对他说：“这江南大营，我军苦心经营了七八年，结果一朝失陷，后果不堪设想呀。”然而左宗棠却很是不以为意，在他看来，驻守江南大营的这帮人，平日里浑浑噩噩，只知道吃喝玩乐，士兵不操练，将领又没有什么真才实学，所以大营被攻破是迟早的事。所以他对曾国藩说道：“有什么可惜的，江南大营这个脓包，早晚是要被打破的，早点被点掉最好！”

历经这一仗之后，咸丰皇帝也对绿营军有了些许失望，当他看到一个经营近八年之久的战略要地，在绿营军的把守下不堪一击之时，终于开始动摇了。于是他决定放权给那些汉族官僚，曾国藩也被任命为两江总督，总领两江事务。两江是国家财富的命脉，水土丰饶，千百年来多出名门富户，两江总督职位到手，曾国藩才总算是真的抬起了头，征军筹饷也容易多了，因为从前曾国藩组办湘军，都是靠自己筹钱，再加上那么少许几个地主乡绅赞助点银子，军队饷银又高出绿营军很多，日子过得紧巴巴的，而有了两江总督的名号，总算是好过多了。

曾国藩受任两江总督之后，便命令左宗棠率五千楚军下江西。随后不久，湘军经过苦战之后包围了安庆，而太平军再度使出了类似攻取江南大营的“声东击西”的老把戏——由陈玉成、李秀成分别率领军队攻打武汉，试图以此来牵动包围安庆的清军，以解安庆之围，史称“二次西征”。

这一仗打得是惊心动魄，为了便于指挥，曾国藩将中军帐移到了祁门大营，而太平军几次往返于祁门左右，但却都没有强攻。最惊心的一次是太平军攻打距离祁门大营只有六十多里的羊栈岭时，曾国藩手下只有两千多士兵，听到消息，他甚至连遗书都写好了。然而曾国藩三番五次地逃过大劫，一方面是太平军将领错误地估计了局势，另一方面也是由于左宗棠在乐平死死绊住了李世贤，为曾国藩争取了空间。

咸丰十年的乐平之战中，太平军侍王李世贤率领数万之众，挟风带雨，气势汹汹，直逼祁门大营。中途顺带拿下了婺源、景德镇，楚军将领陈民南、陈大富都在战场牺牲。四月初，左宗棠退守乐平。此间左宗棠下了死守乐平的命令，收缩兵力，巩固防线。李世贤率部赶到之后，左宗棠却趁太平军远来疲惫，兵力正乏，主动出击，在桃岭击破太平军，斩首三千余人。李世贤见状，撤回了进攻祁门的军队，全力攻打乐平。

四月十九日，李世贤再度攻打桃岭，开战不久，楚军将领罗近秋阵亡。由于湘、楚军队多是由乡党、师生、父子组成，关系错综复杂，因此将士之间的关系也较一般军队更为紧密，罗近秋战死后，楚军将士群情激奋，再次打退了太平军。

李世贤看到自己的大军被一支从前听都没听说过的“楚军”阻击多日，手下损兵折将，士气低落，于是大为光火，下令强攻。左宗棠见太平军风头正盛，自己手下军队无论在数量和作战经验上都不及太平军，便深沟壁垒，避免与太平军正面冲突。

此前史上也有过类似的先例：齐鲁长勺之战中，鲁军待齐军三鼓之后方才冲杀敌阵，大破强敌；老将黄忠待曹军数次求战不能之后飞马下山，刀斩曹魏名将夏侯渊。这一次，乐平之战左宗棠也采取了相似的战术。楚军严守阵地，李世贤久攻不下，如此迁延数日，士气低落，太平军看到清军避而不战，也渐渐懈怠下来。四月二十三日，左宗棠下令军队越过壕沟，冲杀太平军。这一下可是打了李世贤一个措手不及，他没料到清军会主动出击，也没有作好准备。主将没了主意，士卒们也都四散溃逃。一时间清军无不势如奔雷，以一当百，太平军人马践踏，死伤惨重，李世贤只好下令撤退。

乐平大胜是楚军“初涉江湖”之后的首次大捷，这一战也使得楚军军心大振，朝廷也对这支私家军有了些许认同。左宗棠以一支新组建的五千楚军，阻击了超出自己数量好几倍的太平军，将自己的军事才华显露无遗。

按照原来的计划，李世贤率领的部队目标不是攻打乐平，更不是左宗棠的楚军，而是曾国藩的祁门大营。但由于在乐平遭到了左宗棠部众的顽强阻击，他不得不率军后撤，这也缓解了曾国藩的压力。假使当时李世贤真的一路无阻，进逼祁门，那么太平军就会对祁门清军展开夹攻，如果是这样，那么曾国藩的遗书恐怕就真的能派得上用场了。李世贤败退后，左宗棠又以迅雷不及掩耳之势攻克了此前被太平军占据的浮梁、鄱阳、景德镇等地，进一步为曾国藩的湘军包围安庆创造有利之势。随后不久，清军攻破安庆，曾国藩上折为左宗棠请功，咸丰发布谕旨，将左宗棠“补太常侍卿，改帮办江南军务”。这样一来，左宗棠就成了曾国藩在对抗太平军时的左膀右臂，曾国藩也乐得有这样一个出色的帮手，而两人在这一阶段的合作更像是后来屡试不爽的“围点打援”战术，即曾国藩全力包围安庆，左宗棠就负责打击太平军派向安庆的援军。这样以逸待劳、守株待兔的战术在左宗棠稳扎稳打的军事理念下越发显得凶悍无比。比较而言，后来国共之争，解放军多次采用“围点打援”的战术来消耗国民党，解放军属于游击作战，而左宗棠在江西则是坐待敌军。不能说到底这二者之间哪一个更适合这个战术，因为到最后两者都取得了成功。相近的是，左宗棠想要借此消耗太平天原本就比较弱小的实力，而解放军的目标是消灭国民党的有生力量。正是这样尺寸必争的牛脾气，造就了左宗棠对外的强硬态度，使之最终能够收复伊犁。在近代清廷权臣纷纷签下丧权辱国的对外条约的背景下，左宗棠立刻显得高大起来。