曾国藩痛恨绿营军的腐败，并且他深知绿营兵的坏习气已经到了无可救药的地步。因为他们从根源处就已经坏了，无法再相救，而靠这种兵永远也打不了胜仗。他说：“居今之世，用今之兵，虽诸葛复起未必能灭此贼。”曾国藩此次练兵，就是想成立一支和绿营兵截然相反的新军，那就是曾国藩所说的一支劲旅，一支在战场上无所畏惧、所向披靡的军队。

对曾国藩而言，如果不是在长沙时受到排挤和激发，他也不会想到练出一支自己亲自指挥的军队。这到底是怎样的一支军队，他也不知道，但一定要比绿营兵出色。至于到底如何出色他也没底，八旗和绿营虽是正规军，但均腐败无能，地方团练势力弱小更不能对付太平军。没有好的榜样可以学习，显然凡事他只能靠自己的摸索。

曾国藩就是在一边实践一边摸索中练就了一支勇猛的湘军的。咸丰三年（1853年）夏，当时的太平军已进攻南昌，负责和太平军交战的是江忠源。由于势力单薄，江忠源便写信给曾国藩，让他派军队前去援助。而曾国藩也想试试自己一手编练的湘军在战场上的威力到底如何，于是他便派罗泽南、朱孙贻、金松龄率领三千多人赶往前线进行增援。不久就传来了让曾国藩异常高兴的消息：派去的各营均有战功，杀敌无数。初战告捷让曾国藩沾沾自喜，但一会工夫又传来了让曾国藩非常恼火的消息：罗泽南带领的一营中了敌人的埋伏，有几十人伤亡，其中包括罗泽南的几位得力战将。对此，曾国藩有些不解，按说有后面的部队进行援救，不应该有如此大的伤亡。部队都撤回之后，曾国藩开始详细调查，最后他得知一重大情况：当罗泽南遭到敌人伏击时，以金松龄为首的后面部队看到此情景，不但没上前相救反而趁机逃脱，罗泽南一营由此而损失惨重。

得知情况的曾国藩很是生气，他总结了此次教训，说：“今日兵事最堪痛哭者，莫大于‘兵不相救’四字。虽此军大败奔北，流血成渊，彼军却袖手而旁观，哆口而微笑。”曾国藩也说中了绿营军的要害，在绿营军和太平军的作战中，绿营军经常当逃兵，见死不救是常有的事。造成这种局面的主要原因就是人心不一，将和兵、将和将、兵和兵之间没有形成一条心，他们“胜则相忌，败不相救”。而太平军的内部却团结一心，同生死共患难，这种可贵之处正是湘军所需要的。所以曾国藩痛下决心，一定要练成一支“呼吸相顾、痛痒相关、赴火同行、蹈汤同往、胜则举酒杯以让功、败则出死力以相救的誓不相弃之死党”，而这也正是曾国藩练兵的独特之处。

为了彻底改掉军队里这种陋习，曾国藩痛下决心，对此事一定要严加惩处，否则后果将不堪设想。为了严肃军纪，曾国藩作出了一个惊人举措，含泪斩杀了金松龄及相关湘勇，以实际行动为湘军立下了铁的规矩。

湘军要想独树一帜，成为一支铁军，必须彻底废除绿营兵的制度。绿营兵是“吃粮当兵”、“子承父业”。曾国藩要“赤地立新”、“扫除陈迹”。他对湘军军官的要求：其一必须是文化人；其二会治军、不怕死、能吃苦、不急功近利；其三要公、明、勤、义。在对湘军士兵的招募上也有规定：不收绿营兵，不收油腔滑调之人。他所招募的大部分是贫困家庭出身的农民，因为他们忠厚、朴实，身体素质好，便于管理。一营之兵在一地选拔，利用各种关系，并对应募者的情况进行详细的登记。

湘军规定：大帅选统领，统领选营官，营官选哨官，哨官选什长，什长选士兵，层层选拔。而他们之间的关系是下级绝对服从上级的命令。

湘军的训练很严格，“训”的是政治思想，“练”的是军事、技艺的学习、锻炼。

所“训”内容广泛，有做人之道，军队纪律等。“练”的内容主要有：学习武艺和各种阵法；练习射击、拳击、枪法；学习择地、布局、跳沟、筑垒等行军扎营的知识。

曾国藩认为湘军都是精兵良将，是大清的希望，和绿营兵有着天壤之别，所以在待遇方面也应该丰厚。刚开始时，由于清政府不承认这支军队，不给他们拨饷，曾国藩就厚着脸皮四处筹款，为练勇的将领和军官发军饷。直到湘军成为保护清政府的中流砥柱之后，才被承认。这样一来，清政府就每年下拨一定数量的军饷供应这支部队。曾国藩给湘军制定的军饷特别丰厚，高出绿营兵许多倍。

由于湘军的待遇极为丰厚，一些吃不上饭的农民、清苦的读书人都争相前往，报名参加湘军。由于文人的不断加入，湘军的文化水平日益提高，而文化水平提高了之后，各方面的素质、战斗力等都随之提高。可以说，曾国藩的军队改制是成功的，经过他的改制，才有了被称为“铁军”的部队，也正是由于这支“铁军”，太平天国才会被镇压，大清才会被挽救。