初办团练便遭遇失败的曾国藩并没因此而放弃，这一次的失败对他而言只是一次磨炼，但更是一次激励。从此时开始，他便发誓一定要练成一支自己的军队，一支真正的勇军。

曾国藩选择衡州的原因有三，一是因为他的祖籍是这里（衡阳），可谓第二故乡；二是曾国藩的妻子欧阳氏的娘家也在这里，相比来说亲友多；三是由于衡州北临南岳衡山，属水陆要冲，是兵家的必争之地。

由于有了第一次的教训，来到衡州的曾国藩首先想到的是与地方官员搞好关系。当时担任衡州知府的陆传应早早就接到了巡抚的札文，开城相迎。陆传应位居四品，比曾国藩低五级，但曾国藩却对他礼貌有加，左一句兄右一句弟，让陆知府心里十分高兴。

陆传应答应把团练大臣的“署衙”设在小西门演武场。这个场子很大，是当年吴三桂“称帝”时开辟的。“署衙”有了，但是取什么名字呢？曾国藩前思后想，为了小心谨慎他仍然用以前在长沙用的“湖南审案局”。人员不变，招牌不变，可是曾国藩的思想却发生了翻天覆地的变化。他不再像以前那样仅仅维护地方治安，也不再做一名人人唾弃的刽子手了，他要练一支劲旅，由他亲自挂帅，扫平太平军，成就一番大业。

曾国藩把随身带来的千余名团勇安置好之后，觉得自己需要一些交心而有才的将领，他便想起了郭嵩焘、刘蓉、李元度、陈士杰等人。于是，曾国藩马上写信让他们前来相助，共成大事，立大业。收到信的郭嵩焘正在湘阴筹备练勇的资金，得信后并没急于赶到曾国藩处，而是等资金筹备得差不多时才去；刘蓉在曾国藩的眼里是诸葛亮一般的人物，缺他不可，因此他在信中对刘蓉说，无论如何一定要前来相助。而其余几人也是被曾国藩视为知己或得意的弟子。

几日过后，曾国藩便收到了江忠源的来信。当时的江忠源任湖北按察使，但他被皇帝派去江西一带和太平军作战。江忠源在信中让曾国藩抓紧时间成立一支劲旅，奔赴江西消灭太平军，他说，现在的绿营军是扶不起的阿斗，不堪一击。在勇猛的太平军面前，他们都是懦夫，甚至太平军的喊杀声都能把他们吓倒。

江忠源的来信正合曾国藩的胃口，事实上他也是这样想的，只是皇帝给各地团练大臣的任务是帮办练团勇，并不是成立正规军队。如果现在就成立军队，岂不越格，后果不堪设想。如何让皇帝批准自己成立正规军呢？曾国藩想了想眼下只有江忠源有这个本事说服皇帝，于是曾国藩便回信让江忠源上奏皇帝，批准他招募人员，成立一支正规军，上前线杀敌立功，保卫大清。

没得到皇帝的批准，曾国藩就坐不住了——他开始了前期的准备工作并开始招募人员。

李元度是接到信后第一个来曾国藩处的，他还给曾国藩带来了一个意外的惊喜——五百名新募的平江勇。经过一个月的时间，李续宾、曾国葆、金松龄就招募来了两千五百名湘丁。另外，江忠济和邹寿漳也从新宁、宝庆等地招募了一千余人。这样，曾国藩手下共有五千多人，便于训练和管理，于是他把这些人按营划分，每五百人为一营，共有十个营。

随着郭嵩焘、刘蓉、陈士杰等人的相继到来，曾国藩很高兴，而最让曾国藩高兴的还是郭嵩焘筹到的二十万两军饷。曾国藩把人才都汇集到自己门下，看到眼前这些得力干将他突然想到了还缺几人。于是他写信先向骆秉章客气了一番，报告了团丁的情况，然后请他视察，同时向他借调塔齐布、杨载福、周凤山三人。没几日，这三人便兴冲冲来到了曾国藩的“署衙”。

此时的曾国藩门下，云集了众多人才，称得上是文武齐备。兵也有了，将也有了，接下来便是商议如何把这些人训练成一支让敌人闻风丧胆的劲旅了。曾国藩和郭嵩焘、刘蓉、塔齐布等人经过仔细商量之后，制定了一套军事条例及训练办法。塔齐布、罗泽南等人统带这十营兵勇。至此，曾国藩心中的那支劲旅已初步成形。

当地知府陆传应见到这阵势，也不敢怠慢，加之曾国藩经常和他商量一些事情，两人非常投缘，于是便取出十万银两资助练勇之事。曾国藩很是感激，看到这陆知府他便想起了出山后第一位给他帮助支持的人张亮基，而这位陆知府也算是自他出山后的第二位贵人了。