曾国藩的湘军经过一番整顿之后，士气大增，而曾国藩也是信心百倍，于是他们决定向战败的太平军西征军继续发动进攻。而此时的太平军西征军也调整了战略部署，那些以前守在湘潭的士兵在林绍璋的带领下经靖港、岳州，与曾天养的部队会合。待两军会合之后，太平军在曾天养的带领下，返回岳州，一番调整之后，准备与湘军决一死战。

当曾国藩得知太平军加强了驻扎在岳州的军队之后，也改变了先前的计划，让塔齐布带七千人马为先锋赶到岳州城，命罗泽南、周凤山率数千人作为后援部队。咸丰四年（1854年）六月三十日，湘军和太平军开始了一番血拼，太平军被击败，曾天养只好带部队连夜退出岳州城，守在了城陵矶。

城陵矶在岳州城东北二十里处，是长江通洞庭的一个军事要塞，地势十分险要，且易守难攻。当太平军占领城陵矶之后，由于城陵矶的优势所在，湘军久攻不下，无奈之际，湘军便采取了硬攻的方式，为此付出了惨重代价。七月十六日，曾国藩的水师将领褚汝航、夏銮及清军将领陈辉龙、沙镇邦四人率各自水师直奔城陵矶。当时正好是顺风，所以便冲入了太平军的防守圈内。此时的太平军早已等候多时，他们见有鱼儿上钩便收网捡鱼，一时之间，风声、喊声、武器碰撞声，乱成一片，士兵的鲜血也染红了江水。

这一次战斗的结果是，湘军水师惨败，褚汝航、陈辉龙、沙镇邦、夏銮四人全部战死，水师损失近一半。当闻讯而来的杨载福赶到之后，水师已是如丧家之犬，溃不能战，退回岳州。曾国藩得知这一结果后，心疼得直落泪。

湘军水师惨败之后，陆师便向太平军发起进攻。七月十八日，塔齐布率军进攻城陵矶，曾天养率军迎战，双方展开了一场恶战。曾天养和塔齐布各为两军中的勇猛善战之人，他们率领的部队也都是能打善斗之人，一上战场就把生死置之度外，所以两军各不相让，打得你死我活。一番恶战之后，曾天养看到了塔齐布，心想擒贼先擒王，于是大喊一声便冲向了塔齐布。塔齐布眼疾手快，马上挥舞着长枪迎战，两员猛将的一番血拼，让身边的士兵们瞪大了双眼。

曾天养，广西壮族人，是太平军西征军的主要将领。五十多岁才参军，但他骁勇异常，屡战屡胜，在军中享有极高的名望，被太平军誉为“飞将军”，他率领的军队也因数次作战有功被称为“虎头军”。自西征以来，他战功赫赫，先后率兵攻克了江西南昌、丰城、瑞州、饶州、乐平、景德，安徽东流、建德、集贤、桐城、舒城，在庐州击毙江忠源；转战湖北，克黄州，破吴文部，又连克汉口、汉阳，取孝感、云梦、德安、随州、安陆、宜昌；继援湖南，克澧州、常德。

虽然他武艺超群，有勇有谋，但是与塔齐布这样的湘军第一猛将比起来，胜算却不大。毕竟他年事已高，而塔齐布却正值壮年，又善于马术和骑战，最终塔齐布将太平军的主要干将曾天养刺死。曾天养的牺牲让太平军一片混乱，他们群龙无首，人心动摇，没有斗志和湘军再战，只好向武昌方向退去。

曾天养的牺牲无疑是太平天国的重大损失，太平军领袖们闻之痛哭，而洪秀全则追封其为烈王。

城陵矶战后，曾国藩指挥湘军水陆一起东下，一路上几乎没遇到什么阻碍。湘军将士扬眉吐气，尤其是水师气焰嚣张，他们不避枪弹，不披甲胄，一路上非常凶猛强悍。陆师经蒲圻、咸宁、山坡、纸坊，直达洪山、花园一带。

当湘江水师来到金口时，陆师也正好赶到此处，曾国藩命令水陆两师停止前进，然后和各路将领共商攻城大计。罗泽南提议陆路兵分两路，一路由塔齐布率领攻洪山，一路由自己率领攻花园，说这样做是防止太平军会分兵从后路包抄塔齐布一队。众人听后，觉得言之有理，便采纳了该建议。

咸丰四年（1854年）八月二十一日，湘军从金口开始出发，在罗泽南的率领下，直攻花园。一番激战之后，太平军溃败而逃。罗泽南继续挥师作战，攻克了太平军的三座大营，次日，又攻克了鲶鱼套。此时的塔齐布率军攻打洪山，刚开始洪山的太平军还顽强奋战，但当他们得知花园已失之后，自知守不住此地，便纷纷而逃。

花园和洪山的失守让湘军得以兵临武昌城下。负责守卫武昌城的太平军将领黄再兴、石凤魁、韦以德等人，除了文官以外，都是洪秀全的亲戚，根本不会带兵打仗，所以面对武昌城下的两万人马他们惊慌失措，信心皆无。早在曾天养牺牲时，韦以德为了保命就从武昌逃离，而黄再兴、石凤魁则不会用兵，太平军看到这种情况尽是失望。在湘军夺取花园、洪山的当天夜里，黄再兴及石凤魁便夹着尾巴悄悄逃跑了。为了避免打草惊蛇，他们只带着少许人马就离开了，留下了太平军大部分的人马和战船。显然，武昌这一重要的军事要地就这样被他们白白地送给了湘军。次日天刚亮，湘军就大举攻城，太平军这才发现守将已跑，顿时大乱阵脚，也无心恋战，想趁机而逃。可是此时他们已逃不出去了——湘军勇士们登上城墙，打开城门，湘军万千人马一拥而入。

湘军的凶猛在此时体现得淋漓尽致，他们见人便杀，杀得满街都是太平军的尸体，满地都是血水。太平军的水师遭受了同样的对待，其士兵有的被赶入水中活活淹死，有的被砍死，或被大炮射死，这致使太平军的水师受到了前所未有的沉重打击。

当曾国藩在一群将领的陪同下来到文昌门时，感慨颇多。这座被誉为湖广第一名城的武昌城终于被自己收复了，顿时他的自豪感涌上心头。

湘军夺取武昌城的第七天，咸丰帝才知道这个消息。此时的他正为太平军而苦恼，不知如何办才好。这一好消息无疑是雪中送炭，让他拨开乌云见到了晴天。一番喜悦之后，他不由地从心底赞赏起了曾国藩。六日后，曾国藩把此次湘军进攻花园、洪山及收复武昌的战况一一向咸丰帝进行了汇报。皇帝看后，比曾国藩还要激动，他佩服曾国藩，一介文官竟能在一年的时间里训练出一支铁军，并带领这支铁军收复了被太平军侵占的大部分土地，而这是所有绿营兵所不能及的，大清也只有曾国藩能做到如此战功赫赫。想完这些之后，他立即下旨，任命曾国藩为湖北巡抚，并对大臣们说道：“不想曾国藩一书生，乃能建此奇功！”

湘军的众多将领也一一受到了封赏：胡林翼被封为湖北按察使，罗泽南被封为浙江宁绍道台，彭玉麟被封为广东惠潮嘉道，杨载福、鲍超、李元度、李续宾、郭嵩焘、刘蓉、陈士杰等人也均得到了提升。

曾国藩及湘军众将们闻听此讯，兴高采烈，互相祝贺升迁之喜。正当大家举杯欢庆之时，又来了一道上谕，内容为：“曾国藩着赏给兵部侍郎衔，办理军务。毋庸署理湖北巡抚。陶恩培著补授湖北巡抚，未到任之前，湖北巡抚著杨霈兼署。曾国藩、塔齐布立即整师东下，不得延误。”除此之外，更让曾国藩恼火的是咸丰帝责怪曾国藩在奏折上不署加封的官衔（即署湖北巡抚衔）。咸丰帝批道：“朕料汝必辞，又念及整师东下，署抚空有其名，故已降旨令汝毋庸署理湖北巡抚，赏给兵部侍郎衔。”

这一道上谕犹如一盆凉水把曾国藩火热的心浇得冰凉。上谕收回了署理湖北巡抚的旨意，还说赏给他兵部侍郎衔，而他本来就是兵部侍郎，这叫赏了个空头人情。这一番折腾，曾国藩不但官职丝毫未动，还落得咸丰帝的一番埋怨。更让曾国藩生气的是，他自己血雨腥风地在战场上为国杀敌未获得奖赏不说，署理湖广总督杨霈安居于衙门之内没有寸功，却因这次武昌的收复而被提升为总督；那个一直陷曾国藩于不仁不义嫉妒曾国藩的小人陶恩培竟实授了湖北巡抚之职。这些让曾国藩费解，而在左思右想了一番，曾国藩明白了其中的原因。

终其原因，咸丰帝还是信不过带兵的汉人，以至以后，皇帝都严奉祖训，不让汉人手握重权。后来曾国藩率领的湘军越打越激烈，越打名声越响，皇帝对他的警惕也就越来越高。致使他在十多年间，一直处于客军虚悬之地，有其名而无实权，这种处境让他非常难堪，经常陷入尴尬之地。但作为大清子民人人都很无奈，而这也许就是曾国藩最无奈的事情。