咸丰二年（1852年）十二月十七日，曾国藩和郭嵩焘一起从老家出发，赶往省城长沙。在到达湘乡县城时，接到湖南巡抚张亮基征调湘乡练勇一千名赴省城的札令。于是湘乡练勇跟随曾国藩前往长沙，湘乡的罗泽南、刘蓉、朱孙诒等人也随着曾国藩而去。正是这些练勇成为了曾国藩初办团练的班底。

五日之后，曾国藩率众人来到长沙。巡抚张亮基率一行官员江忠源、左宗棠及岳麓书院的同学们，列队迎接曾国藩一行的到来。大家见面相互客套恭维了一阵之后，便开始议事。而作为文员的曾国藩从此便开始了他的军旅生涯。

在接下来的宴会上，巡抚张亮基带一班官员和曾国藩等人相互敬酒，一番交流之后，张亮基有些激动，他站起身来握住曾国藩的手说道：“今后湖南保境安民的一切，都拜仁兄，仗大才经纬。仁兄对湖南的挚爱、对小弟的挚爱，望施补天之术，使三湖之士早得安宁！”这句话让曾国藩感激至深，也大大鼓舞了曾国藩练兵的决心。虽然这番话使曾国藩浑身充满了力量，但同时他也感觉到自己身上的担子更加重了。

次日，曾国藩便奏请皇帝，告诉皇帝他的想法：在长沙组建一支劲旅，以此来消灭造反的太平军。没几日便传来了咸丰帝的手谕：“悉心办理，以资防剿。”得到皇帝的同意之后，曾国藩便按照心中所想，渐渐筹划着这支劲旅。他把带来的一千名团丁编为两营，罗泽南带一营，王带一营。然后，他又从这两营中选出精兵八十名，组成亲兵队，交给曾国葆带领。接着，他在巡抚衙门附近，又新开了一个衙门，命名为“湖南审案局”，负责人是江苏候补知州黄廷瓒。

对于刚来长沙的曾国藩来说，对未来是一脸茫然，虽然他上报皇帝要成立一支劲旅，消灭太平军，可是说来容易，做起来难。一介文官的他对兵场上的事一窍不通，更何况朝廷也没有给予他任何经济上的支持，全凭曾国藩自己白手起家。再说皇帝这边，他的意思就是让曾国藩在长沙帮办湖南团练事务，并不是让他成立正规军队。也就是说，让他帮着维持地方治安，关键的时候可以镇压地方的小暴动。

受太平天国起义的影响，各地农民起义不断爆发。曾国藩到长沙不久，在道州一带便爆发了天地会起义，他们慷慨激昂，发誓要和太平天国一起灭了大清。闻听此事，曾国藩马上派刘长佑及王等人带兵前去镇压。队伍刚要出发，又闻衡山草市刘积厚带人揭竿而起，他们先是杀死地方官，后又准备加入太平军。曾国藩闻听大怒，唯恐刘积厚加入太平军，助长了太平军的势力，于是他让刘长佑、王等人调马回头先平了刘积厚再去扫平天地会。没等刘长佑等人出发，又接到了一大堆关于各地起义的案子：攸县的黑红会、桂阳的半边钱会、安化的串子会、永州的一炷香等。除此之外，还有被太平军打散的清军，他们的军队没了，也没脸加入别的军队，只有混在起义的队伍里，跟着闹事。仅几天工夫，曾国藩的桌子上便堆满了需要“审案局”处理的急件。

这时的曾国藩绝对是焦头烂额，虽然做过十几年的京官，官居二品，但他终日同经书诗文打交道，从不曾接触这些起义造反之事，一下子哪能处理过来这么多起义的事。再者，仅凭他手下那区区千名没有实战经验的兵，根本对付不了斗志昂扬的各地起义队伍。曾国藩被这些事情搞得晕头转向，往往是顾了这头忘了那头。

为了镇压各地的起义，稳定人心，曾国藩想出了一套办法。他把“审案局”的全部人员召集在一起，下达了一条命令：对地方不良分子（包括盗贼、土匪、游勇）捉到一个杀一个，并且谁捉到一个给予白银五两作为奖励，多捉多赏。为了让所有人都知道和大清作对的后果，他让人制作了一批类似于囚车的木笼，把抓来的造反分子放在里面进行游街示众，之后并不杀死，而是活活地饿死他们。此法施行了一段时间之后，曾国藩的名声渐长，但这一次不同以往，整个湖南人人都知道这里出了个心狠手辣的团练头子曾国藩。其间也有人不服，向省里状告曾国藩，说“审案局”是阎王殿，曾国藩是杀人不眨眼的恶魔。

作为省巡抚，张亮基极力支持曾国藩的行为。他说：“宁失之于严，不失之于宽。”张亮基和曾国藩站在同一立场，穿同一条裤子，所以无论他人怎么说怎么告也无济于事，曾国藩依旧是以杀服人。为什么没人告到皇帝那儿呢？因为咸丰帝一生最恨“土匪”及造反之类的“不良分子”，如果告到他那里，会弄到“偷鸡不成蚀把米”的地步也难说，弄不好还会丢了自己的性命。所以，省里不管，也就没有人再告曾国藩了。于是，下达杀人的命令就成了曾国藩每天的主要工作。只要被抓到者，正身一验明，那就是“杀”！就好像杀一只鸡那样轻松简单。而对此张亮基在给皇帝所上的奏书中称赞曾国藩是有胆有识，刚强干练！

曾国藩的这一套办法果然奏效，数月以来，各地动乱由多到少，并且后来是少了许多。曾国藩也得意自己的谋略，于是继续施行此法。他命人四处张贴“格杀勿论”及“就地正法”的告示，让人看了都心生恐惧之感，以致人们每天听说得最多的就是谁被抓了，谁被杀了。当时，可以说整个长沙城里都是人心惶惶。

曾国藩在任湖南帮办团练大臣后，三个多月直接下令杀死的“不良分子”多达一百三十七人，他所批示的各县就地处决的人数更多。为此他受到了人们的憎恨，为解心头之恨，人们给他起了“曾剃头”和“曾屠户”的诨号。尽管湖南及长沙人士对他这种杀人如麻的做法很是痛恨，但是咸丰却不怪罪于他，因为曾国藩不是为了个人恩怨，他是为了大清。

由于湖南巡抚张亮基的全力支持，曾国藩才得以放手大胆地杀人。可是后来随着张亮基的调任，曾国藩曾一度陷入了困境。武汉被太平军攻占之后，湖广总督徐广缙被革职，由张亮基接替了湖广总督之职。而湖南巡抚由骆秉章担任，布政使、按察使都是新调来的，这些人看不惯曾国藩的做法，对曾国藩是爱答不理，全然不在乎。此时，失去了张亮基的曾国藩就等于在长沙失去了靠山。

曾国藩当时的处境是十分尴尬的，因为他既不是地方官吏，又不是钦差大臣，在地方官吏眼里他只是辅佐地方组织武装、协助维持地方秩序的人而已，没有什么实权，所以地方官吏都不把他放在眼里，更别说支持他工作了。之后发生的一件事，让曾国藩初办团练受挫，最终以至于不得不离开长沙。

按照惯例，绿营兵归总督统辖，各省提督统带，并负责训练及其他一些事务。团练大臣没有权力过问绿营兵的事，只负责管理团勇。可一心想训练一支劲旅的曾国藩看不惯绿营兵的懒散腐败、毫无军纪的风气，便想好好训练他们。他见湖南任都司塔齐布生性忠厚，勇敢善战，便聘他为团勇之师，让他训练团勇。这塔齐布是听说过曾国藩大名的，很是崇敬，对曾国藩是唯命是从，带团勇刻苦训练，而且二人交往也极为密切。

曾国藩的训练项目多样化，有军事训练、政治教育，还要和绿营军一起会操，哪怕是炎炎夏日也照样进行，会操时绿营军和团勇都必须参加，如果一方不参加就谈不上是会操。可一向懒惰的绿营兵不想参加会操，其中长沙副将清德更是从中作梗，不听曾国藩的命令。一次会操时，只有塔齐布所率部队前往，和团勇们参加会操，而清德率部将说曾国藩多管闲事，曾国藩一气之下便参劾了清德。而清德也不是省油的灯，他向湖南提督反控曾国藩虐待士兵，干预绿营之事，破坏军营制度。

由于这个湖南提督也看不惯曾国藩的所作所为，于是他便袒护清德并要惩罚塔齐布。当清德率绿营兵进攻塔齐布的营房时，曾国藩挺身而出指责清德等人，但他所做的一切对清德来说都没有用。这伙人直抵塔齐布的营房，砸了里面的东西，之后又攻入了曾国藩的公馆，还杀死了曾国藩的几名随员和护兵，甚至曾国藩也差点送命。

曾国藩和塔齐布见清德等人杀红了眼，便逃到隔壁的巡抚衙门躲避。巡抚骆秉章对此事却十分冷淡。他的处理结果更让曾国藩心灰意冷，仅仅让清德等人给曾国藩赔礼道歉就算完事。此事过后，长沙各官吏都不同情和安慰曾国藩，反而说他干预绿营兵，不知天高地厚，这一切完全是他咎由自取。

这时的曾国藩在长沙再也待不住了，便打算去衡州。可以说，初办团练让曾国藩颜面尽失。